LVS初步

LVS初步.pdf

LVS初步

一见

目录

 

1. 
前言

很多人知道LVS，但可能知之不多，希望阅读本文后，能够对LVS有一个基本的感性认识。

LVS是国内最早出现的自由软件之一，由国防科技大学章文嵩博士在1998年5月创立，章博士目前是淘宝网高级研究员，是淘宝网核心系统负责人。

LVS首要的是解决路由问题，结果不但解决了耦合问题，实现了网络隔离，而且顺带实现了负载均衡，负载均衡复杂的地方在于不同的均衡策略。常常均衡和路由成对出现，象分布式中的一致性哈希，也是路由和均衡，实际上还达到了容灾的效果，可以说是一举多得。

2. 思考

一个数据包，是如何从一个机器达到另一个机器的？两个机器可以连接在同一个交换机上；也可以挂在不同的交换机上；甚至可能一个在内网，另一个在外网。

抓包工具tcpdump、Wireshark和Sniffer等是如何工作的？Linux内核中的Netfilter原理是什么？最好可以，动手写一个基于RAW SOCKET的抓包工具，按IP、TCP/UDP格式解析，并以可视化方式展现出来，甚至可以进一步解析诸于HTTP之类的。

3. 名词解释

下表中，蓝色字体部分是最基础的名词，其它可最后反过来再细读：

缩写	全称	说明
LVS	Linux Virtual Server	Linux虚拟服务器，它有三种工作模式：NAT、DR和TUN
IPVS	IP Virtual Server	运行在LVS下的，提供负载均衡的一种技术
NAT	Network Address Translation	网络地址转换，也可叫IP地址转换
DR	Direct Routing	直接路由，也可叫MAC地址转换
TUN	Tunneling	隧道
LD	LVS Director
LB	Load Balancer	负载均衡器
	IP Tunneling	IP隧道
VS	Virtual Server	虚拟服务器
RS	Real Server	真实服务器
VIP	Virtual IP	虚拟IP
VPN	Virtual Private Network	虚拟专用网络，也叫虚拟私有网络，利用加密技术在公网上封装出一个数据通讯隧道
LAN	Local Area Network	本地局域网
WAN	Wide Area Network	广域网
	Switch	交换机
AS	Autonomous System	自治系统，处于一个管理机构控制下的路由器和网络群组，有权自主决定在本系统中采用何种路由协议
BGP	Border Gateway Protocol	边界网关协议，用于AS间的动态路由协议，是一种外部网关协议
IGP	Interior Gateway Protocol	内部网关协议
EGP	Exterior Gateway Protocl	外部网关协议，在AS的相邻两个网关主机间交换路由信息的协议，是一个轮询协议
GGP	Gateway to Gateway Protocol	网关到网关协议
LSA	Link State	链路状态，OSPF接口上的描述信息，例如IP地址、子网掩码、网络类型等
OSPF	Open Shortest Path First	开放式最短路径优先，是一种IGP，用于在单一AS内决策路由，运作于AS内部，是链路状态协议。OSPF路由器间交换的不是路由表，而是LSA
RIP	Routing Information Protocol	路由信息协议，使用最广泛的IGP，但正在被OSPF等所取代
ARP	Address Resolution Protocol	地址解析协议，根据IP取MAC的协议
RARP	Reverse Address Resolution Protocol	反向地址解析协议，根据MAC取IP的协议
OSI	Open System Interconnection	一个开放性的通行系统互连参考模型，是一个协议规范

4. OSI参考模型

5. LVS架构

5.1. 负载均衡器（Load Balancer）

它是整个集群对外面的前端机，负责将Client的请求发送到一组服务器上执行，而Client认为服务是来自一个IP地址上的。它可以是用IP负载均衡技术的负载均衡器，也可以是基于内容请求分发的负载均衡器，还可以是两者的结合。

5.2. 服务器集群（Server Cluster）

是一组真正执行Client请求的服务器，执行的服务有WEB、MAIL、FTP和DNS等。

5.3. 后端存储（Storage）

它为服务器集群提供一个共享的存储区，这样很容易使得服务器集群拥有相同的内容，以便提供相同的服务。

6. 区别

	特点	适用网络
LVS/DR	修改MAC，RS将响应返回给Client	LAN，同一物理网段
LVS/NAT	修改IP为RS的IP，LD将顺应返回给Client	私有网络
LVS/TUN	不修改IP，但包装一个新的IP头，RS将响应返回给Client	LAN、WAN

 

DR特点导致它不能跨LAN，这个比较容易理解。

在IP处理上，NAT是修改，而TUN是新增，后者可跨LAN，为何NAT不行？要理解这一点，只需要知道响应是怎么回去的就明白了。

? 为何NAT是修改IP，而TUN是包装一个新IP头？

1) NAT：

它修改IP的目的是让包可以达到目标RS，仅此而已。但包装个新的IP头同样可以达到这个目的，但无疑多了开销。

2) TUN：

对于TUN模式，修改同样可以让包达到目标RS，但是这样的结果是包不能回到Client了，因为丢失了源IP，所以TUN模式必须包装一个新的IP头。而NAT模式，数据包的进出都是经过LD，包不会从RS直接到Client，所以NAT模式修改即可。

6.1. 包层次关系

6.2. IP包头结构

6.3. TCP包头结构

6.4. LVS/DR

6.5. LVS/NAT

从下图，可以看出NAT模式只需要一个公网IP：

6.6. LVS/TUN

7. 配置

7.1. LVS/DR配置

7.1.1. 配置Director

在Diector机器上完成下列所有操作：

1) 为Director配置VIP，此IP用于对外提供服务：

#ifconfig eth0:0 192.168.1.100 broadcast 192.168.1.100 netmask 255.255.255.255 up

 

上述操作，在eth0上绑定了一个虚拟设备eth0:0，同时设置VIP为192.168.1.100。

2) 指定eth0:0的路由：

#route add -host 192.168.1.100 dev eth0:0

3) 开启包转发，让Director充当路由器角色：

#echo 1 > /proc/sys/net/ipv4/ip_forward

 

注意，对于DR，开启包转发不是必须的，但对于NAT是必须的。

4) 接下来，配置ipvs，执行以下操作：

①　#ipvsadm -C

②　#ipvsadm -A -t 192.168.1.100:80 -s rr -p 600

③　#ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.20:80 -g

④　#ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.30:80 -g

 

上面，第一行是清除内核中的虚拟服务器列表中的所有记录；第二行是添加一条新的VIP记录，这个新的VIP是192.168.1.100，同时指定它的持续服务时间为600秒；第三和第四行，是在VIP记录中添加两条RS记录，并且指定LVS的工作模式为DR。

5) 至此，配置完成，即可启动LVS服务：

#ipvsadm

7.1.2. 配置RS

在DR和TUN两种工作模式下，请求达到RS后，响应直接返回给Client，而不经过Director。因此，需要在每个RS上配置VIP，这个VIP和Director上的相同，这样数据才能直接返回给Client。

 

在所有RS机器上分别完成下列所有操作：

1) 配置VIP：

#ifconfig lo:0 192.168.1.100 broadcast 192.168.1.100 netmask 255.255.255.255 up

2) 指定lo:0的路由：

#route add -host 192.168.1.100 dev lo:0

3) 禁止本机的ARP请求：

①　echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore

②　echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce

③　echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore

④　echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce

 

? arp_ignore

定义响应ARP请求的策略：

值	作用
0	默认值，响应任何对本地IP的ARP请求
1	只响应目标IP是访问本机IP的ARP请求
2	只响应目标IP是访问本机IP的ARP请求，且源IP和本地IP须在同一子网
3	不响应ARP请求
4-7	保留未使用
8	不响应所有的ARP请求

? arp_announce

定义响应ARP请求的限制：

值	作用
0	无论哪块网卡收到ARP请求，只要是本机的MAC，都作出响应
1	尽量避免响应MAC不是本网卡的ARP请求
2	使用最合适的网卡来响应ARP请求

 

4) 为使禁止ARP请求生效，执行：

#sysctl -p

 

由于VIP是Director和所有RS共享的，如果不禁止，产生ARP请求时，会导致Director和所有RS都应答，从而产生冲突，因此需要禁止RS响应ARP请求。

7.2. LVS/NAT配置

7.2.1. 配置Director

在Diector机器上完成下列所有操作：

1) #ifconfig eth0:0 192.168.1.100 broadcast 192.168.1.100 netmask 255.255.255.255 up

2) #echo 1 > /proc/sys/net/ipv4/ip_forward

3) 接下来，配置ipvs，执行以下操作：

①　#ipvsadm -C

②　#ipvsadm -A -t 192.168.1.100:80 -s rr

③　#ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.20:80 -m

④　#ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.30:80 -m

4) 至此，配置完成，即可启动LVS服务：

#ipvsadm

7.2.2. 配置RS

在所有RS机器上分别完成下列所有操作：

1) 配置默认网关为Director，以保证数据可从Director返回：

#route add default gw 192.168.1.100

7.3. LVS/TUN配置

7.3.1. 配置Director

在Diector机器上完成下列所有操作：

1) 设置tunl0（隧道网卡）的IP为VIP：

#ifconfig tunl0 192.168.1.100 broadcast 192.168.1.100 netmask 255.255.255.255 up

2) 指定tunl0的路由：

#route add -host 192.168.1.100 dev tunl0

3) 接下来，配置ipvs，执行以下操作：

①　#ipvsadm -C

②　#ipvsadm -A -t 192.168.1.100:80 -s rr

③　#ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.20:80 -i

④　#ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.30:80 -i

4) 至此，配置完成，即可启动LVS服务：

#ipvsadm

7.3.2. 配置RS

在所有RS机器上分别完成下列所有操作：

1) #ifconfig tunl0 192.168.1.100 netmask 255.255.255.255 up

2) route add -host 192.168.1.100 dev tunl0

3) 禁止本机的ARP请求：

①　echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore

②　echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce

③　echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore

④　echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce

4) 为使禁止ARP请求生效，执行：

#sysctl -p

8. ipvsadm

参数	解释
-A	--add-service，往内核VS表添加一个VS
-a	--add-server，在内核VS表中添加一个RS
-t	--tcp-service，表示VS提供的是TCP服务
-m	--masquerading，指定LVS的工作模式为NAT
-i	--ipip，指定LVS的工作模式为TUN
-g	--gatewaying，指定LVS的工作模式为DR
-r	--real-server，指定RS的地址和端口
-p	--persistent [timeout]，来自同一个Client的多次请求，转发给同一台RS，timeout默认为300秒
-s	--scheduler，指定调度策略，有以下几个选项： 1) rr，轮询方式（Round-Robin） 2) wrr，加权轮询方式（Weighted Round-Robin），按顺序许循环分派请求给RS，但给能力的RS分派更多 3) lc，最小连接（Least-Connection） 4) wlc，加权最小连接（Weighted Least-Connection） 5) lblc，基于局部性的最少链接（Locality-Based Least-Connection） 6) lblcr，带复制的基于局部性最少链接（Locality-Based Least-Connection with Replication），某页面缓存在服务器A上，被访问次数极高，而其它服务器负载较低，监视是否访问同一页面，如果是则把请求转发给其它服务器 7) dh，目标地址散列（Destination Hash），对目标IP进行hash，将同一目标IP的请求转发给相同的RS 8) sh，源地址散列（Source Hash），与dh刚好相反，基于源IP 9) sed，最短预期延时（Shortest Expected Delay） 10) nq，不排队（Never Queue），如果某RS连接数为0，则直接分配 默认的调度策略为wlc。