企业级高可用Web架构之HAProxy+Keepalived

710阅读　0评论2013-03-05　initrdimg
分类：系统运维

原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。

细数下来，算是东莞的项目的话，HAProxy+Keepalived我差不多也有三套在线上跑了，另外，这套Web方案也是我的一拍网的备份方案之一，目前也在测试，如果速度和稳定性够强劲的话，我也考虑将LVS+Keepalived换成HAProxy+Keepalived，关于HAProxy的语法和安装步骤请参考我的专题系列文章，另外，此篇文章跟刘天斯的不一样，我主要用其作为Web级别的负载均衡（七层应用）。
一、线上跑的HAProxy配置文件，代码如下：

  1. global 
  2.         log 127.0.0.1   local0 
  3.         maxconn 65535 
  4.         chroot /usr/local/haproxy 
  5.         uid 99    
  6.         gid 99 
  7.         daemon 
  8.         nbproc 8 
  9.         pidfile /usr/local/haproxy/haproxy.pid 
  10.         debug 
  12. defaults  
  13.          log     127.0.0.1       local3  
  14.          mode   http  
  15.          option httplog  
  16.          option httpclose  
  17.          option dontlognull  
  18.          option forwardfor  
  19.          option redispatch  
  20.          retries 2  
  21.          maxconn 2000  
  22.          balance source  
  23.          stats   uri     /web-status  
  24.          contimeout      5000  
  25.          clitimeout      50000  
  26.          srvtimeout      50000  
  28. listen  
  29.         bind *:80 
  30.         mode http 
  31.         option httplog 
  32.         log global 
  33.         option httpchk HEAD /index.jsp HTTP/1.0 
  34.         server web1  203.93.236.147:80 weight 5  check inter 2000 rise 2 fall 3 
  35.         server web2  203.93.236.146:80 weight 3  check inter 2000 rise 2 fall 3 

二、HAProxy的启动、关闭和重启脚本，代码如下：

  1. #!/bin/sh 
  2. # chkconfig 35 on 
  3. # description: HAProxy is a TCP/HTTP reverse proxy which is particularly suited for high availability environments. 
  5. # Source function library. 
  6. if [ -f /etc/init.d/functions ]; then 
  7.   . /etc/init.d/functions 
  8. elif [ -f /etc/rc.d/init.d/functions ] ; then 
  9.   . /etc/rc.d/init.d/functions 
  10. else 
  11.   exit 0 
  12. fi 
  14. # Source networking configuration. 
  15. . /etc/sysconfig/network 
  17. # Check that networking is up. 
  18. [ ${NETWORKING} = "no" ] && exit 0 
  20. [ -f /usr/local/haproxy/conf/haproxy.cfg ] || exit 1 
  22. RETVAL=0 
  24. start() { 
  25.   /usr/local/haproxy/sbin/haproxy -c -q -f /usr/local/haproxy/conf/haproxy.cfg 
  26.   if [ $? -ne 0 ]; then 
  27.     echo "Errors found in configuration file." 
  28.     return 1 
  29.   fi 
  31.   echo -n "Starting HAproxy: " 
  32.   daemon /usr/local/haproxy/sbin/haproxy -D -f /usr/local/haproxy/conf/haproxy.cfg -p /var/run/haproxy.pid 
  33.   RETVAL=$? 
  34.   echo 
  35.   [ $RETVAL -eq 0 ] && touch /var/lock/subsys/haproxy 
  36.   return $RETVAL 
  37. } 
  39. stop() { 
  40.   echo -n "Shutting down HAproxy: " 
  41.   killproc haproxy -USR1 
  42.   RETVAL=$? 
  43.   echo 
  44.   [ $RETVAL -eq 0 ] && rm -f /var/lock/subsys/haproxy 
  45.   [ $RETVAL -eq 0 ] && rm -f /var/run/haproxy.pid 
  46.   return $RETVAL 
  47. } 
  49. restart() { 
  50.   /usr/local/haproxy/sbin/haproxy -c -q -f /usr/local/haproxy/conf/haproxy.cfg 
  51.   if [ $? -ne 0 ]; then 
  52.     echo "Errors found in configuration file, check it with 'haproxy check'." 
  53.     return 1 
  54.   fi 
  55.   stop 
  56.   start 
  57. } 
  59. check() { 
  60.   /usr/local/haproxy/sbin/haproxy -c -q -V -f /usr/local/haproxy/conf/haproxy.cfg 
  61. } 
  63. rhstatus() { 
  64.   status haproxy 
  65. } 
  67. condrestart() { 
  68.   [ -e /var/lock/subsys/haproxy ] && restart || : 
  69. } 
  71. # See how we were called. 
  72. case "$1" in 
  73.   start) 
  74.     start 
  75.     ;; 
  76.   stop) 
  77.     stop 
  78.     ;; 
  79.   restart) 
  80.     restart 
  81.     ;; 
  82.   reload) 
  83.     restart 
  84.     ;; 
  85.   condrestart) 
  86.     condrestart 
  87.     ;; 
  88.   status) 
  89.     rhstatus 
  90.     ;; 
  91.   check) 
  92.     check 
  93.     ;; 
  94.   *) 
  95.     echo $"Usage: haproxy {start|stop|restart|reload|condrestart|status|check}" 
  96.     RETVAL=1 
  97. esac 
  99. exit $RETVAL 

三、HAProxy的监控脚本我没有做，这个实施起来也简单，我们可以用curl -s --head | awk '/HTTP/ {print $2}'的方法，判断是否返回了正常的200代码。 

四、加上日志支持，代码如下：

  1. #vim /etc/syslog.conf 
  2. 添加： 
  3. local3.*        /var/log/haproxy.log 
  4. local0.*        /var/log/haproxy.log 
  5. #vim /etc/sysconfig/syslog 
  6. 修改： 
  7. SYSLOGD_OPTIONS="-r -m 0" 
  8. service syslog restart

五、大家需要注意的几个地方是：
1)HAProyx采用的是balance source机制，它跟Nginx的ip_hash机制原理类似，是让客户机访问时始终访问后端的某一台真实的web服务器，这样让session就固定下来了；
2)option httpchk HEAD /index.jsp HTTP/1.0 是网页监控，如果HAProxy检测不到Web的根目录下没有index.jsp，就会产生503报错。
3)有网友说HAProxy必须采用listen 203.93.236.141:80这样类似的格式，这样其实不好，做集群时会导致从机启动不了，我们可以用bind *:80的方式代替。
4)HAProxy的并发监控和日志收集分析是下一步考虑的事情。
上一篇：软件级负载均衡器(LVS/HAProxy/Nginx)的特点简介和对比
下一篇：Nginx主主负载均衡架构