Linux路由器的宽带复用

1090阅读 0评论2017-05-16 sometimeixpub
分类:LINUX

 

Linux路由器的宽带复用 (图) (2003-1-1)

Linux路由器的宽带复用 (图) (2003-1-1)
 

本文出自《网管员世界》2003年第1期 征文选登 栏目

 宽带复用需求分析

随着国内互联网络的蓬勃发展,ADSL与Cable-Modem接入已越来越普遍,同时资费也较传统的DDN和专线接入便宜许多。在实现多用户共享宽带接入的时候,用户的数量急剧增加会带来网络性能的下降,甚至拥塞。根据我们的经验,一条2M的DSL线路,当支持用户的数量超过100个后,在网络使用的高峰期就会产生严重的拥塞问题。因此,出于对网络性能的追求以及提高网络的费效比的目的,如何将资费较为便宜的DSL或Cable-Modem线路进行复用就成为我们面临的问题。
根据实际的应用需求,一个切实可用的宽带复用方案需要达到以下目的:
1.实现宽带接入的负载均衡。
2.当部分线路出现故障时,只要有一条接入线路可用,则网络的使用不受影响。
3.当故障排除后,系统能立即启用排除故障后的线路。
4.所有操作均自动进行,无须管理员干预,并对用户透明。
以我们的实际应用为例说明。如图1,首先配置一台装有四块网卡的Linux服务器,一块网卡接内网,其他三块接外网,目的是复用DSL线路1、DSL线路2和数字电路1,使得三条宽带接入线路(带宽均为2M)可协同工作。其中DSL线路1 IP为1.0.0.2,DSL线路2 IP为1.0.0.3,接入数字电路的网卡IP为3.0.0.2。
从接入链路的物理性质来说,所复用DSL和Cable-Modem的带宽是无法累加的,目前Linux/BSD系统的实现方法是基于IP随机分配的策略,因此对单机而言,宽带复用没有任何意义,IP随机分配的优势只有在多用户访问的时候才能体现出来。

由于多数提供DSL和Cable-Modem的ISP只提供一个IP甚至是动态分配IP地址,因此需要采用NAT技术实现IP地址转换。

实现复用的简单方法

由2.2内核开始,Linux便开始支持高级路由技术,提供策略路由,流量控制等多项高级路由功能,配合Netfilter包过滤软件,可实现许多专业路由器和防火墙才能实现的高级功能。
Linux内核的网络部分代码由最开始模仿Sun OS的网络系统,到2.2版本,重写了全部内核网络代码并推出了实现高级路由管理的软件包iproute2,目前,许多Linux商业版本都配置了该软件。
iproute2提供了整套网络管理的工具,提供了从网络配置、流量控制、策略路由等全面的网络功能。iproute的开发者还建议用户不再使用传统的 ifconfig、route等基于System V的网络命令,因为这些工具无法使用Linux系统的高级网络功能。
基于iproute2,我们可以很容易地实现接入的负载均衡。
首先删除系统的默认网关。
然后运行ip route命令:
# ip route add default equalize nexthop via 1.0.0.1 dev eth1 nexthop via 1.0.0.1 dev eth2 nexthop via 3.0.0.1 dev eth3

该命令实现了系统在三个接入IP之间随机进行选择,并送往不同的ISP。但当其中一条或多条线路失效时,系统会删除该路由,不会自动将失效线路用户转至有效线路,并且当线路失效重建时,无法恢复该路由。因此,这个解决方案不能满足我们的需求。

宽带复用的实现

Linux系统中有多种路由类型,如下表:
 
静态路由在失效后即被内核删除,重新生效后仍无法重建。内核路由由内核维护,对失效路由并不删除,只是标记,待线路恢复正常时可重新使用该路由。
Julian Anastasov为Linux内核写了一个补丁,实现了内核管理STATIC路由的功能,从而可以实现我们所需要的线路自适应功能。2.4.19版本内核的补丁,可在 下载。
编译前需要打开内核以下选项(对2.4内核),当然,最好选择网络部分的除实验功能外的所有选项:
Networking options→
[*]   IP: advanced router
[*]   IP: policy routing
[*]   IP: equal cost multipath

Routes补丁修补了4个头文件和12个内核的C源代码,但只是对系统的部分代码进行修改,没有新添任何新的功能。当然,打完补丁后需要重新编译内核和各个模块。
在修改内核后,就可以实现真正的自适应宽带复用。
① NAT的实现
#echo 1 > /proc/sys/net/ipv4/ip_forward
#iptables -t nat -A POSTROUTING -o ppp* -s 192.168.0.0/24 -j MASQUERADE
#iptables -t nat -A POSTROUTING -o eth3 -s 192.168.0.0/24 -j MASQUERADE

首先需要打开系统的IP转发功能(ip_forward)以实现路由功能,同时对所有内网IP进行伪装,其中ppp*指系统所有DSL线路。
对于动态分配IP的网卡,使用MASQUERADE关键字,而对于获得了固定共网IP的网络,可使用SNAT对源地址进行伪装。
然后加载必要的NAT模块:
#depmod -a
#insmod ip_nat_ftp
#insmod ip_conntrack_ftp
#insmod ip_nat_irc
#insmod ip_conntrack_irc

② 主路由表的维护
在我们的设置中,主路由表维护系统本地网络,默认的主路由表优先级是32766,处于路由表的最下端,需要将其优先级提高,防止访问本地网络使用外部网络接口:
#ip rule add prio 10 table main

③ 外网接入路由表的维护
在主路由表之后是外网接入路由表,我们设置了101、102、103三个表,分别对应DSL线路1、DSL线路2、和数字电路1,目的是设置外网各自的默认路由,同时设置prohibit关键字使用户在线路无法使用时获取网络失效信息,从而刷新后可改用其他线路。如DSL线路1设置如下:
#ip rule add prio 101 from 1.0.0.2/24 table 101
#ip route add default via 1.0.0.1 dev eth0 proto static table 101
#ip route append prohibit default table 101 metric 1 proto static

④ 等值路由表的设定
设置等值路由表200于用户路由表的末端,提供三个接入线路的随机分配。其中 proto static关键字是我们补丁所实现的功能。
#ip rule add prio 200 table 200
#ip route add default table 200 proto static
nexthop via 1.0.0.1 dev eth1
nexthop via 1.0.0.1 dev eth2
nexthop via 3.0.0.1 dev eth3

⑤ 线路检测
系统已经可以自动检测失效路由并自动调整路由表,但当线路恢复正常时还无法自动起用该线路,因此需要定期对所有外网线路进行检测,我们可以使用以下脚本发送ICMP包检测线路并且使用 cron定时(每分钟)执行。
#!/bin/sh
ping -c 1 1.0.0.1
ping -c 1 3.0.0.1

路由性能监测

使用MRTG工具监测路由器带宽可以直观地看出网络高峰时的使用情况,如图2,在没有实现复用前,单个DSL线路(DSL线路1,带宽2M)是十分拥塞的:

图2
经过复用后,该线路(DSL线路1,带宽2M)的流量由三条宽带线路分担,明显缓解了带宽的压力(如图3):

图3
由于MRTG只能监控三条独立的线路,监测结果不是很直观,因此我们用PERL编写了一个MRTG扩展程序(virtual_line.pl),使之能够将三条2M线路逻辑累加为一条6M的虚拟线路,便于管理员的监测。
基于NAT的流量监控事实上是对Iptables的FORWARD链进行计量,因此我们可以对每一条宽带线路进行监控,在Iptables中为每一条线路添加流入和流出计量(如对数字电路1):
#iptables -N FORW-IN1
#iptables -N FORW-OUT1
#iptables -A FORWARD -i eth3 -j FORW-IN1
#iptables -A FORWARD -o eth3 -j FORW-OUT1

然后在MRTG中定时运行我们的virtual_line.pl,即可对三条线路逻辑累加虚拟线路进行监控。virtual_line.pl的源代码如下:
#!/usr/bin/perl
#==========初始化设置============
$iptables =“/sbin/iptables”;
$uptime =“/usr/bin/uptime”;
$host =“server.gic.ac.cn”;
#对三条线路进行流入和流出流量统计
@chain_in=(“FORW-IN1”,“FORW-IN2”,“FORW-IN3”);
foreach (@chain_in) {
$_=‘$iptables -nvxL | grep $_ | grep -v Chain’;
s/^s+d+s+(d+).*$/$1 /s;
$in=$in+$_;
}
print“$in ”;
@chain_out=(“FORW-OUT1”,“FORW-OUT2”,“FORW-OUT3”);
foreach (@chain_out) {
$_=‘$iptables -nvxL | grep $_ | grep -v Chain’;
s/^s+d+s+(d+).*$/$1 /s;
$out=$out+$_;
}
print“$out ”;
#显示系统时间与主机名
($uptime = ‘$uptime’) =~ s/^.*up (.*,[d: ]+),.*$/$1/s;
print “$uptime$host ”;
#============ end ==============

由虚拟线路的监测图可以看出,网络总体对带宽的最大需求为3M,我们的总带宽有6M,所以该复用线路完全可以满足要求。


图4

方案讨论

通过以上讨论,最终切实可行的宽带复用方案如下:
1.首先对Linux内核升级,使内核能够对STATIC路由表进行管理;
2.设置NAT和加载必要的模块;
3.提高主路由表的优先级,并建立外网接入路由表;
4.建立等值路由表;
5.设置定时检测线路;
6.使用MRTG对线路进行监测。
由于复用技术基于IP随机分配算法,在一个缓存期内,对任何内网的访问需求,内核根据其目的IP地址随机分配一个外网IP,因此对某些网站的高强度访问会带来线路的部分不均衡,实际的使用过程中,不平衡值会高达15%以上。我们可以通过设置透明代理,使用SQUID代理服务器来平衡线路负载,可使多条线路的流量更加均衡。
理论上,可复用无限多条宽带线路,上限仅与Linux主机的PCI插槽数量有关。
由于Linux系统良好的稳定性和路由功能的日益完善,并且随着计算机硬件的价格下降,基于Linux系统的路由应用越来越广泛。在中国科技网广州节点,近十台Linux路由器与其他Cisco路由器一起,承担着繁重的路由交换和高层网关工作,几年的良好运行,证明了Linux系统良好的稳定性和出色的网络性能。

上一篇:iproute2 策略路由与流量控制
下一篇:[iptables]解决openwrt无线上网问题