看了2天RFC,终于让DNS支持edns-client-subnet协议,通过google dns resolver的请求,可以获取用户的ip地址。
国内很多CDN和DNS提供商都已经实现了,但网上的中文资料比较少,所以在这里分享一下,能力有限,错误之处还请谅解。
问题
- CDN使用DNS获取查询IP,根据IP对用户进行地域调度。但这里获取的IP地址是DNS地址,而不是用户真实的IP地址。
- 大多数情况下,我们假设用户通过会使用离自己网络最近的DNS resolver,CDN调度基本还是准确的。
- 但也有很多nameserver设置错误,或者用户使用google public dns(nameserver 8.8.8.8/8.8.4.4)或opendns进行DNS resolver
比如:
- 国内用户设置nameserver 8.8.8.8 (dig xxx.com @8.8.8.8)
- 我们得到的DNS query IP是74.125.16.208,判断IP属于美国,,,加利福尼亚州山景市谷歌公司
- 这个时候,我们的DNS会返回离美国加州最近的CDN节点IP给用户。
- 国内用户错误的调度到美国节点……
edns-client-subnet
- google提交了一份DNS扩展协议,允许DNS resolver传递用户的ip地址给authoritative DNS server.
- CDN的DNS支持该协议,就可以获取用户真实的IP地址,进行准确的调度。
- OpenDNS和Google Public DNS已经支持了该协议,如果希望他们的query中带有用户IP,需要联系他们添加白名单。提供nameserver的hostname、ip以及可以用来测试解析的域名即可,一般几天就可以搞定。(注:我是晚上22:l00提交的申请,第二天10:00就已经生效了)
实现
一. 支持发送和接收edns-client-subnet的dig
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 |
./dig www.baidu.com @8.8.8.8 +client=104.119.200.200 ; <<>> DiG 9.7.3 <<>> www.baidu.com @8.8.8.8 +client=104.119.200.200 ;; global options: +cmd ;; Got answer: ;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 1068 ;; flags: qr rd ra; QUERY: 1, ANSWER: 3, AUTHORITY: 0, ADDITIONAL: 1 ;; OPT PSEUDOSECTION: ; EDNS: version: 0, flags:; udp: 512 ; CLIENT-SUBNET: 104.119.200.200/32/0 ;; QUESTION SECTION: ;www.baidu.com. IN A ;; ANSWER SECTION: www.baidu.com. 1030 IN CNAME www.a.shifen.com. www.a.shifen.com. 130 IN A 220.181.112.143 www.a.shifen.com. 130 IN A 220.181.111.148 ;; Query time: 42 msec ;; SERVER: 8.8.8.8#53(8.8.8.8) ;; WHEN: Wed Jun 26 14:38:13 2013 ;; MSG SIZE rcvd: 113 |
注意上面的OPT PSEUDOSECTION
,已经可以发送和接收edns-client-subnet请求了
二. 协议
- DNS协议
- DNS query会包含header和RR 2部分,这里只介绍我们关注地方,网上可以搜到很多协议的介绍,比如这个http://archercai.blog.sohu.com/60779796.html
- header会描述本次请求中Questions、Answer RRs、Authority RRs和Additional RRs的数量,RR部分会详细描述每个资源的内容,所有的RR格式是相同的,如下:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 |
1 1 1 1 1 1 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 +--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+ | | / / / NAME / | | +--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+ | TYPE | +--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+ | CLASS | +--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+ | TTL | | | +--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+ | RDLENGTH | +--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--| / RDATA / / / +--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+ |
- 个人理解edns-client-subnet是对edns协议的扩展,附加在一个DNS请求的Additional RRs区域,这里
重点描述edns-client-subnet的结构
- EDNS协议 Extension mechanisms for DNS (EDNS0):http://tools.ietf.org/html/draft-ietf-dnsind-edns0-01
- EDNS0每个字段的结构和描述如下:
1 2 3 4 5 6 7 8 |
Field Name Field Type Description ------------------------------------------------------ NAME domain name empty (root domain) TYPE u_int16_t OPT CLASS u_int16_t sender's UDP payload size TTL u_int32_t extended RCODE and flags RDLEN u_int16_t describes RDATA RDATA octet stream {attribute,value} pairs |
- OPT 的值41,详细的协议值如下:
1 2 3 4 5 6 7 8 9 |
(A, NS, MD, MF, CNAME, SOA, MB, MG, MR, NULL, WKS, PTR, HINFO, MINFO, MX, TXT, RP, AFSDB) = range(1, 19) AAAA = 28 SRV = 33 NAPTR = 35 A6 = 38 DNAME = 39 SPF = 99 OPT = 41 |
- RDLENGTH描述RDATAD的长度,edns-client-subnet的详细格式存在RDATA中,如下:
1 2 3 4 5 6 7 8 9 10 11 12 |
+0 (MSB) +1 (LSB) +---+---+---+---+---+---+---+---+---+---+---+---+---+---+---+---+ 0: | OPTION-CODE | +---+---+---+---+---+---+---+---+---+---+---+---+---+---+---+---+ 2: | OPTION-LENGTH | +---+---+---+---+---+---+---+---+---+---+---+---+---+---+---+---+ 4: | FAMILY | +---+---+---+---+---+---+---+---+---+---+---+---+---+---+---+---+ 6: | SOURCE NETMASK | SCOPE NETMASK | +---+---+---+---+---+---+---+---+---+---+---+---+---+---+---+---+ 7: | ADDRESS... / +---+---+---+---+---+---+---+---+---+---+---+---+---+---+---+---+ |
- OPTION-CODE: 2个字节
- OPTION-LENGTH: 2个字节,描述它之后的内容长度(BYTE)
- FAMILY: 2个字节,1表示ipv4, 2表示ipv6
- ADDRESS: 实际存放IP地址的地方,ipv4长度为4,google发送过来的长度一般为3,隐藏了ip地址最后一位
三. 开发
完成前2个步骤,就可以开搞了,逻辑很简单:
1. 判断dns query是否包含Additional RRs,读取NAME部分
2. 读取10个字节(byte),判断TYPE是否为41,rdlength > 8
3. 如果rdlength > 8,再读取8个字节,对应OPTION-CODE(2)–>OPTION-LENGTH(2)–>FAMILY(2)–>SOURCE NETMASK(1)–>SCOPE NETMASK(1)
4. 读取剩下的address,长度 rdlength – 8 或者 option-length – 4都行
注:读取到的地址长度为4,可以用socket.inet_ntoa变成ip地址,如果不够4个字节,需要后面补\x00
5. 获取到的IP地址就可以用来进行判断调度了
6. respond时也需要增加一个Additional RRs区域,直接把请求的Additional内容发过去就可以(如果支持source netmask,将请求中的source netmask复制到scope netmask中
,OpenDNS要求必须支持scope netmask)
四. 抓包
- 发包
- 发送dns query请求时,可以看到Questions:1, Additional RRs: 1
- Additional RRs中,type: 41(OPT), rdlength: 12 (google发过来的包,长度为11,没有IP地址最后一位)
- 12 – OPTION-CODE(2) – OPTION-LENGTH(2) – FAMILY(2) – SOURCE NETMASK(1) – SCOPE NETMASK(1) = 4,IPV4 地址的大小
- 回包
- 发送dns query请求时,可以看到Questions:1, Answer RRs:1, Additional RRs: 1
- 发送dns query请求时,可以看到Questions:1, Answer RRs:1, Additional RRs: 1
75 Comments
chinacache,dnspod都是已经支持的
chinacache不支持,我们最近遇到这样的问题,和蓝讯沟通过多次,表示并没有将这个技术用于线上系统
不是吧,我最近还问过他们的技术,他们说搞了这个
蓝汛并没有将这个技术用在线上
上次看国外一篇关于CDN的文章,提到了中国擦车是支持edns的。 他们没支持,还是销售不懂?我就不知道了
verycdn 的dns 是支持
这个喜欢
tag
bind view 怎样匹配这个edns-client-subnet 呢?
bind没用过,你找找有没有支持的版本或补丁。
powerdns是支持的
3Q
我在bind修改了下,可以实现
不过,不知道怎么样申请加入GOOGLE?
google: http://code.google.com/a/google.com/p/public-dns/issues
opendns: http://www.opendns.com/support/contact/
这怎么申请啊,谢谢!!
链接地址给你了,提交你的nameserver 域名、ip和可以测试的域名,说明添加到edns-client-subnet whitelist就可以了。
Google的页面似乎没有地方提交?
请问 bind 9下如何修改代码来实现?谢谢
这个你得问楼上了,bind我没改过
能请问下,bind如何修改可以支持?
谢谢
Kevin,你好!我对这个bind实现edns也很感兴趣,能否学习下你实现的代码哈?
求教!
你好,
在RFC里看到optcode 是 0×0008
然后在谷歌测试中发现,optcode 是0x50fa
不知道这是为什么?
EDNS0_SUBNET = 0x50fa // client-subnet draft
最新draft:
http://tools.ietf.org/html/draft-vandergaast-edns-client-subnet-02
optcode=8
opendns现在用这个了
bind 9.9.3 code是0×8
bind 9.7.3 code是0x50fa
我开发的时候,我直接忽略code了,新版本补上了:)
bind9 怎么修改支持?谢谢了。
你提到”将请求中的source netmask复制到scope netmask中”
按照draft写的,会有scope mask > source mask的情况,比如权威配置
acl xx1 { 1.1.1.128/25;}
acl xx2 {1.1.1.0/25;}
请求中字段是:1.1.1.128/24
不过好像直接copy source mask为scope mask也没什么影响。即使local dns缓存了一个sub-optimal结果。除非,有人再用1.1.1.1/25去请求local dns
恩,是这样的。
不过一般情况下都是scope mask < source mask吧。
我是所有netmask都支持,我的调度配置是很据location,而不是netmask,所以没有任何问题。
逻辑是这样的:请求带有的source netmast > 16,就让scope_netmask = source_netmask。 否则scope_netmast = 16
你好,我遇到这样一个情况:多台域名服务器配置都一样放在不同地域,然后在一个地方设置8.8.8.8查询同一个网址,结果不会到美国,但是却在国内几个点跳来跳去,我们怀疑是不是google的服务器做了缓存导致的。
起初我之直接复制source_mask作为scope_mask直接response。
后来我将匹配到的acl地址作为scope_mask返回,如:
request:1.1.1.1/24
acl{1.1.1.0/24;}
scope_mask=1.1.1.0/24
但是依然没有解决上述问题,求指教,Thanks.
没太懂你的意思,是你在设置8.8.8.8的机器上dig域名,发现返回的地址每次不对?
谷歌肯定会缓存的
我们要根据用户的Ip地域返回不同的服务器ip地址,之前如果没有支持edns,设置8.8.8.8就会返回海外的ip。现在支持了edns,不会到海外了,但是返回不同的国内服务器地址。
如用户在广东,应该返回广东的服务器地址,但是现在有时返回广东的服务器,有时返回湖南的。
是的,我是想实现广东的用户查询就返回我们广东的服务器地址,但是现在有时返回广东服务器有时返回其它地区的服务器
这个应该是你们程序实现问题吧,你用支持edns-cliet-subnet的dig测试下,dig xxx +client=ip ,ip分别写广州、北京等地方,看看测试数据
这个dig我测试过,没有问题。现在我们将所有域名服务都完全设置成scope mask=acl的方式貌似可以了。谢谢了。
因为现使用的是bind, 想请问各位,bind如何来实现支持?
谢谢了
我们不用bind,实在没精力帮你改,不好意思。你自己研究下bind,不难的
thank
在Bind下我已经实现,如有需求请联系jakegod@sina.com
赞,业界良心! 我还准备中秋节搞一搞,关键我们不用bind,实在挤不出时间。
你好,我先前在这里回复了:
在Bind下我已经实现,如有需求请联系jakegod@sina.com
这个邮箱地址很久前不用了,麻烦能帮忙删除这条评论,或者屏蔽这个邮箱地址么,谢谢!
你好,你发我下支持的版本么,谢谢 42385360@qq.com
给我一个,我的邮箱hzpyy@foxmail.com
请问scope mask的值怎么设置
看你DNS server能力和划分力度,我们是32
你们现在的scope是0吧。。。?
印象中最小我设的是16
给我一个,我的邮箱zhaory@cernet.com
这个邮箱地址已经不用,谢谢!
呵呵,后台兄弟给力,共享也给力,撑一下
EDNS哦,这个功能实用、强大
业务需求可以找我 linwq@chinanetcenter.com 哈,广告一下
请问,这个edns在运营商方面支持的如何?bind9支持edns的补丁有了吗?
运营商估计没有支持,bind9的edns补丁你问问其他人,我们没有使用bind
我也想申请这个白名单,是怎么申请的,能否帮助我一下?
评论里面写了怎么申请,你看看
OpenDNS和Google Public DNS已经支持了该协议,如果希望他们的query中带有用户IP,需要联系他们添加白名单。提供nameserver的hostname、ip以及可以用来测试解析的域名即可,一般几天就可以搞定。(注:我是晚上22:l00提交的申请,第二天10:00就已经生效了)
能告诉下哪里申请提交白名单么
就在上面的评论里面,仔细找找:)
[...] IPPool类的初始化和该类中FindIP方法进行解析处理是smartdns中最关键的两个要素,这两个要素在下面详细介绍。其他的特性比如继 承twisted中dns相关类并重写处理dns请求的方法、升级twisted代码支持解析和处理edns请求等大家可以通过代码了解。edns知识可 以猛戳这里:DNS support edns-client-subnet [...]
楼主您好,google提交白名单的地址是什么,您公布的链接好像有点问题,是个论坛……
是个论坛,他们有管理员会看的,你搜下那个论坛里面以前的人怎么申请的帖子看看吧
bind支持edns-client-subnet?
不支持
能问一下你们用的是哪款dns软件呢?
powerdns?unbound?
自己写的,第一版你就是我们开源的那个smartdns,第2版用go写的,主要为了支持我们这边的场景,加入了对HTTP的支持,健康检查等功能。
再对照RFC看了一下,这个功能好像没有实现完整?尤其是关于缓存的处理..
我没考虑缓存,我们的应用场景不太需要。
dns-client-subnet IANA分配的Code是20730吗?
TYPE = 41
bind 9.9.3 code是0×8
bind 9.7.3 code是0x50fa
请问下博主,鄙司在支持edns后任然有不少国内的ip解析到我们国外的点。不知道小米目前解析出错的情况多吗?用户指定了非google dns和opendns的情况多吗。
用户自己配置google dns和opendns的情况非常少。我们支持ends,但用户的local dns不传递edns也是没用的
您好,请问:
1:有哪款开源组件(如bind9,NSD),支持edns。
2:如果bind9不支持edns的话,我们想改代码,改哪里呢?
我的邮箱,13070109@cnsuning.com
谢谢。
powerdns
Hi:
我使用你文章中的bind版本及patch进行编译产生的dig软件,但是查询时不存在这个字段输出,感觉好像没把client ip没生效,
; CLIENT-SUBNET: 104.119.200.200/32/0
具体输出如下:
$ ./bin/dig/dig http://www.baidu.com +edns=0 @8.8.8.8 +client=123.4.3.2
; <> DiG 9.7.3-P1 <> http://www.baidu.com +edns=0 @8.8.8.8 +client=123.4.3.2
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 40190
;; flags: qr rd ra; QUERY: 1, ANSWER: 3, AUTHORITY: 0, ADDITIONAL: 1
Herer
;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 512
;; QUESTION SECTION:
;www.baidu.com. IN A
;; ANSWER SECTION:
http://www.baidu.com. 306 IN CNAME http://www.a.shifen.com.
http://www.a.shifen.com. 299 IN A 119.75.218.70
http://www.a.shifen.com. 299 IN A 119.75.217.109
;; Query time: 326 msec
;; SERVER: 8.8.8.8#53(8.8.8.8)
;; WHEN: Thu Aug 13 16:53:20 2015
;; MSG SIZE rcvd: 101
好久了,具体细节我都忘了,应该是百度的DNS不支持edns的协议。谷歌的8.8.8.8只是负责把你的client ip传给百度的dns server
你好,我想咨询一样,怎么申请谷歌协议的白名单,edns
你不要用自己当前ip地址当做+client=123.4.3.2,我测试的时候也发现这个规律,如果你自己的ip和+client值一样时,就会不显示CLIENT-SUBNET
赞井老板,最近也在搞这个,已经开发完了,从文中受益了。