dsnat简介
dsnat(Dynamic Source Network Address Translation) 是一个基于lvs的模块,在taobao开源的FNAT基础上开发,dsnat位于网络的网关位置,内网访问外网时,会将内网地址改成公网地址池中的ip,轮询选择
目前该模块只支持ipv4下的TCP,UDP协议, ICMP暂时还不支持
dsnat_tools包含ipvsadm和keepalived这2个工具,在官方源码的基础上修改添加了对dsnat的支持
- ipvsadm是对lvs进行配置的用户空间工具,ipvsadm->lvs类似于iptables->netfilter
- keepalived是对lvs集群的一个自动化配置工具(以服务形式常驻内存),可针对rs自动摘除和添加rs到vs中;并带有HA功能,提供热备容灾
安装
1. 下载 redhat 6.2的内核
1 |
wget ftp://ftp.redhat.com/pub/redhat/linux/enterprise/6Server/en/os/SRPMS/kernel-2.6.32-220.23.1.el6.src.rpm |
2. 准备代码
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 |
cat > ~/.rpmmacros << 'EOF' %_topdir ~/rpms %_tmppath ~/rpms/tmp %_sourcedir ~/rpms/SOURCES %_specdir ~/rpms/SPECS %_srcrpmdir ~/rpms/SRPMS %_rpmdir ~/rpms/RPMS %_builddir ~/rpms/BUILD EOF cd mkdir -p ~/rpms/{tmp,BUILD,BUILDROOT,RPMS,SOURCES,SPECS,SRPMS} rpm -ivh kernel-2.6.32-220.23.1.el6.src.rpm cd ~/rpms/SPECS rpmbuild -bp kernel.spec |
3. 打补丁
1 2 3 4 |
cd ~/rpms/BUILD/ cd kernel-2.6.32-220.23.1.el6/linux-2.6.32-220.23.1.el6.x86_64/ wget https://raw.github.com/xiaomi-sa/dsnat/master/dsnat-kernel-2.6.32-220.23.1.el6/dsnat-2.6.32-220.23.1.el6.xiaomi.noconfig.patch patch -p1 < dsnat-2.6.32-220.23.1.el6.xiaomi.noconfig.patch |
4. 编译安装
1 2 3 4 5 |
make -j16 make modules_install make install ##重启使用新内核 init 6 |
LVS TOOL 安装
标准的ipvsadm和keepalive将无法正常使用,
需要编译安装ipvsadm和keepalived,在dsnat_tools下载工具源码
1 2 3 4 5 |
git clone git@github.com:xiaomi-sa/dsnat.git cd dsnat-kernel-2.6.32-220.23.1.el6/dsnat_tools/ipvsadm make && make install cd ../keepalived make && make install |
配置用例
将lvs放在网关的位置,假设网络环境是这样的
1 2 3 4 5 |
client eth0 1.1.1.1 255.255.0.0 (cip) lvs eth0 1.1.100.1 255.255.0.0 (gw ip) lvs eth1:0 1.2.100.1 255.255.0.0 (lip) lvs eth1:1 1.2.100.1 255.255.0.0 (lip) rs eth1 1.2.1.4 255.255.0.0 (rip) |
网络环境是(模拟一下)
- client在内网
- realserver在外网
- 内网到外网的路由指向lvs
- route add -net 1.2.0.0 netmask 255.255.0.0 gw 1.1.100.1(用默认路由也可以)
- 外网服务器可以访问lvs的lip
网关的配置
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 |
##写入开机启动脚本 # echo >> /etc/rc.local << 'EOF' #打开转发设置 echo 1 > /proc/sys/net/ipv4/ip_forward #由于gro/lro功能会影响转发后数据包大小,超过MTU后会被丢弃重发,系统默认是开启的 #关掉gw ip所在的网卡gro/lro ethtool -K eth0 gro off ethtool -K eth0 lro off #绑定网卡中断,让中断在多核cpu上轮训,效果很赞,同样是gw ip所在的网卡 set_irq_affinity.sh eth0 EOF ##关闭irqbalance # service irqbalance stop # chkconfig --level 2345 irqbalance off ## 绑定公网ip地址 # echo >> /etc/rc.local << 'EOF' ip addr add 1.2.100.1/16 dev eth1 ip addr add 1.2.100.2/16 dev eth1 EOF |
通过ipvsadm配置lvs规则
如果执行报错,请核对一下使用的内核补丁是否生效,ipvsadm是否为dsnat_tools编译安装版本
1 2 3 4 5 6 7 8 9 10 11 12 13 14 |
#打开添加一个0/0的虚拟服务,开启dsnat,让所有的内网请求都能命中该服务 ipvsadm –A –t 0.0.0.0:0 –s rr #为vs的地址池添加公网ip ipvsadm –P –t 0.0.0.0:0 -z 1.2.100.1 ipvsadm –P –t 0.0.0.0:0 -z 1.2.100.2 ... #查看vs ipvsadm -ln #查看公网ip地址池 ipvsadm -G |
通过keepalive配置lvs规则
如果执行报错,请核对一下使用的内核补丁是否生效,keepalive是否为dsnat_tools编译安装版本,
keepalive需要2台机器了,这里给出一台的配置
- 启动:service keepalived start
- 更新:service keepalived reload
- 停止:service keepalived stop
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 |
## /etc/keepalived/keepalived.conf global_defs { router_id LVS_DEVEL } ##这是lvs的配置,写好公网ip地址池的ip local_address_group laddr_g1 { 1.2.100.1 1.2.100.2 } ##这是High Availability部分的配置,会根据lvs的状况,让virtual_ipaddress在合适的机器上浮动 vrrp_sync_group G1 { group { VI_1 VI_2 } } ##配置eth0浮动ip vrrp_instance VI_1 { state MASTER interface eth0 virtual_router_id 52 priority 100 advert_int 1 authentication { auth_type pass auth_pass 1111 } virtual_ipaddress { 1.1.100.1 } } #配置eth1浮动ip vrrp_instance VI_2 { state master interface eth1 virtual_router_id 53 priority 100 advert_int 1 authentication { auth_type pass auth_pass 1111 } virtual_ipaddress { 1.2.100.1/16 1.2.100.2/16 } } ##配置lvs,添加一个0/0的虚拟服务,开启dsnat,让所有的内网请求都能命中该服务 virtual_server 0.0.0.0 0 { delay_loop 6 lb_algo rr lb_kind FNAT protocol TCP laddr_group_name laddr_g1 } |
9 Comments
真是实用的东西哈~
可以加下qq不? 麻烦邮件回复我下吧~ 常聊聊哈~
中间的手绘图很好看,用的是什么工具能否告知?
我也想知道,中间的手绘图用什么生成的?
请问怎么联系啊?想具体的实施,能否邮件回复下呢?
执行命令后显示:
#ipvsadm -P -t 0.0.0.0:0 -z 223.203.202.186
Protocol not available
能告诉具体原因吗?如何解决呢?
请问多链路怎么支持,比如有电信,联通,移动三条上行链路,同一内网地址去不同的链路使用不同的local address
很好很强大,我们也基于阿里的lvs-v2开发适用于多链路的nat网关,希望有机会跟小米同学交流一下
https://github.com/jlijian3/lvs-snat
virtual_server fwmark 1 {
snat_rule {
from 192.168.40.0/24
gw 1.1.3.1
oif eth2
snat_ip 1.1.3.71-1.1.3.73
algo random
}
}
Lijian你好。看了你写的改造过的snat部署文章http://tech.uc.cn/?p=2274。发现有什么不明白的地方,也没有部署成功。不知小米这一篇的文章真的如你所说,配置方面真的存在顾些失彼的问题?小米的同事可以回应下么。
请问这个模式的实际应用场景是啥呢?