Linux应用流量和管理流量分离实战

2030阅读 0评论2018-02-28 sometimeixpub
分类:LINUX

 Linux应用流量和管理流量分离实战
=======================

本文主要介绍在Linux下使用高级路由功能,实现应用流量和管理流量分离。

## 场景简介

当这个网络设备作为转发设备使用时,设备会从NIC0,NIC1进行收包,在网络设备上进行处理,处理完之后,通过**默认路由**,再次回到应用业务网。但是应用业务网络流量比较大,不适合做ssh登录管理使用,而且业务网和应用网一般最好是隔离的。

因此我们使用服务器的千兆口MGT-NIC作为ssh登录管理口,链接到管理交换网。但是ssh到此台设备的IP地址可能是公司内任意网段,而且这个网段可能随时增加,因此去管理交换网的流量也需要一条**默认路由**指向管理交换网。

这样问题就来了,一台Linux服务器如何两个不同的默认网关,并且管理业务和应用业务完全正常呢?



## 网络服务器被动访问

#### 知识点

Linux其实有好几张路由表。默认我们通过命令**ip route list**看到的知识main域的路由表,其实linux默认有三张路由表,可通过**ip rule**查看,Linux在慢转的情况下,会去遍历如下所有域的路由(包括后续我们自己添加的域),直到第一个匹配为止,全部不匹配则丢包。分别如下:

    优先级0:优先级最高的local域路由
    优先级32766:优先级倒数第二的main域
    优先级32767:优先级最低的default域

可通过命令

    ip route list table [table name or table id]
    example: 
        ip rule list table local
        ip rule list table 0

正常情况下,通过ip route 命令添加的路由信息是放在main域的,因此我们把应用业务网的默认路由放在main域,通过如下命令添加:

    ip route add default nexthop via 1.1.1.1 dev nic0 weight 10  nexthop via 1.1.1.5 dev nic1 weight 10
    这样就会形成两条等价:
    default
        nexthop via 1.1.1.1  dev nic0 weight 10
        nexthop via 1.1.1.5  dev nic1 weight 10

**此时如果还在main域添加默认路由是添加不上的。**

此时问题就来了:

如果公司内任意IP访问192.168.1.10这个地址,并且Client IP的网段不在此服务器的明细路由中,这样回包路由就会走到main域的default路由,此时回包会送到应用业务网中,导致管理流量异常,无法管理此服务器。当然是可以在服务器上添加管理交换网的明细路由,但是管理交换网网段随时可能增加,此时需要人工去维护服务器上的管理网路由表,比较麻烦。

#### 问题解决方案

此时基于源IP的策略路由登场,我们可以配置基于源IP的策略路由:

    ip rule add pri 32765 from 192.168.1.10 table 8 
    ip rule查看路由域如下:
        0:      from all lookup local 
        32765:  from 192.168.1.10 lookup 8
        32766:  from all lookup main 
        32767:  from all lookup default 
    此命令的含义:
        添加一个规则,优先级为32765,如果源IP是192.168.1.10则去匹配table 8域中的路由。
        又因为这条规则优先级高于main域,所以如果报文的源IP是192.168.1.10的则会去table 8域中查找路由。

随后在table 8域中添加一条默认路由:

    ip route add default via 192.168.1.1 dev mgt-nic table 8
    查看路由表:
    ip route list table 8
        default via 192.168.1.1 dev mgt-nic

此时公司内部任意网段都可以ssh到此服务器进行管理了,流程大致如下:

1. client tcp 访问192.168.1.10
2. 服务器肯定以192.168.1.10为源IP返回给Client
3. 此时匹配了基于源IP的策略路由,并且去查找table 8域中的路由表
4. 在table 8域中有一条default路由,是从mgt-nic发出的,因此可以正常回到client处

## 服务器主动访问

当服务器要主动访问应用网中的其他业务,比如DNS,NTP,HTTP API,salt主动注册等业务时,如果只配置上一节提供的路由,则会出现问题的。**注意:此时主动访问的网段还是不在main域的明细路由中**

#### 知识点

首先要知道Linux主动请求时,如何选择发包的源IP。我们在写Linux Socket程序是,通常会指定目的IP,很少会指定源IP,**那么Linux是如何确定发包的源IP的呢?**

发包时,Linux会根据目的IP查找路由表(Linux只会匹配local、main、default这三个域),匹配了路由表,那么源IP则是这条路由表的出接口的IP,如果路由条目指定src,则使用指定的src作为源IP。查找源IP时不会去找table 8域的路由,因此进入main域查找。

最终目的IP会匹配到main域default路由,main域default路由的设备IP为1.1.1.1,1.1.1.5,则以1.1.1.1或1.1.1.5作为原IP,这样就不会匹配table 8域的默认路由,最终数据包会从nic0或nic1进入应用业务网,导致流量无法走入管理交换网。

#### 问题解决方案

在main域的default路由上指定src,这样主动请求时,匹配到main域的default路由,则会使用我们指定的src作为原IP,而不是设备接口地址,配置如下:

    ip route add default src 192.168.1.10 nexthop via 1.1.1.1 dev nic0 weight 10  nexthop via 1.1.1.5 dev nic1 weight 10

    ip route list显示如下:
        default src 192.168.1.10
            nexthop via 1.1.1.1  dev nic0 weight 10
            nexthop via 1.1.1.5  dev nic1 weight 10

此时发包流程如下:

1. Linux socket发包,根据目的IP查找路由,最后匹配main域default路由
2. 将main域default路由上指定的src 192.168.1.10作为源IP
3. 发包时则会匹配基于源IP的策略路由规则
4. 然后查找table 8,table 8中有去管理网的默认路由
5. 此时流量能正常进入应用网

**注意:在测试过程中,发现只有TCP能以源IP192.168.1.10从管理网出去,但是UDP和ICMP是以192.168.1.10为源IP从应用业务网出去了,这是大问题**

## 服务器主动访问--udp/ICMP选路异常

我们虽然在main域的default路由上指定了发包源IP,但是udp和ICMP使用的是快转,**在查找发包源IP的时候,直接选择main域的default路由的出接口作为发包接口,不会去再次查找路由表。**

#### 知识点

tcp在发包时,获取源IP之后,发包时还会去路由表查找出接口的,走的是慢转。但是udp和icmp走的是快转,发包时不会再查找。因此我们如何强制UDP和ICMP也走慢转呢?

#### 解决方案

Linux iptable mangle中可以给报文打MARK,打了mark之后,报文发包时会找所有域的路由表,并且匹配相应规则的mark号,然后查找相应的路由表。

首先在OUTPUT Hook点上给报文打MARK:

    /sbin/iptables -F -t mangle        #清空mangle规则
    /sbin/iptables -A OUTPUT -t mangle -p udp -j MARK --set-mark 1    #本地发出的udp报文打上mark1标记
    /sbin/iptables -A OUTPUT -t mangle -p tcp -j MARK --set-mark 1    #本地发出的tcp报文打上mark1标记
    /sbin/iptables -A OUTPUT -t mangle -p icmp -j MARK --set-mark 1    #本地发出的icmp报文打上mark1标记
    service iptables save        #保存规则到/etc/sysconfig/iptables中
    chkconfig iptables on        #设置开机启动

配置策略路由规则:

    源IP为192.168.1.10并且打上了mark1的报文去table 8域查找路由:

    /sbin/ip rule add pri 32764 from 192.168.1.10 fwmark 1 table 8

此时发包流程如下:

1. 从本地发出的报文,经过OUTPUT Hook点的报文,如果是UDP,TCP,ICMP的,全部打上mark1标签,并且走慢转
2. 在查找路由表时,匹配 from 192.168.1.10 fwmark 1
3. 查找table 8域中的路由表
4. table 8域中有去管理网的默认路由
5. 流量正确进入管理网

## 网络系统停运时,会删除main域default路由

服务器上正常运行的是网络转发系统会在main域添加default路由,并将src改成管理口IP,但是在网络系统停运后,会将main域的default路由删除,此时报文则无法找到default路由,并且主动访问时找不到源IP,从而导致发包异常。

#### 解决方案

在路由表中还有一个default域,我们可以在default域中添加一条去管理网的默认路由,这样即使main域中的default路由删除了,在发包时,也会去查找default域的路由的。因此可以解决main域default删除的问题。

命令如下:

    ip route add default via 192.168.1.10 dev mgt-nic table default
    查看命令:
    ip route list table default

## 完成配置命令

配置应用业务网默认路由,并且将src指定为管理口IP:

    ip route add default src 192.168.1.10 nexthop via 1.1.1.1 dev nic0 weight 10  nexthop via 1.1.1.5 dev nic1 weight 10

配置基于源IP的策略路由:

    ip rule add pri 32765 from 192.168.1.10 table 8 

配置table 8域的默认路由:

    ip route add default via 192.168.1.1 dev mgt-nic table 8

iptables给OUTPUT Hook点打mark:

    /sbin/iptables -F -t mangle        #清空mangle规则
    /sbin/iptables -A OUTPUT -t mangle -p udp -j MARK --set-mark 1    #本地发出的udp报文打上mark1标记
    /sbin/iptables -A OUTPUT -t mangle -p tcp -j MARK --set-mark 1    #本地发出的tcp报文打上mark1标记
    /sbin/iptables -A OUTPUT -t mangle -p icmp -j MARK --set-mark 1    #本地发出的icmp报文打上mark1标记

配置策略路由基于源IP,并且打mark1标记的报文进行策略:

    /sbin/ip rule add pri 32764 from 192.168.1.10 fwmark 1 table 8

最终配置default域默认路由:

    ip route add default via 192.168.1.10 dev mgt-nic table default
上一篇:openxpki搭建
下一篇:没有了