NoOps

Ops make no ops | Ops的目标是没有Ops,嗯!

DNS support edns-client-subnet

作者: |   12,344 浏览  | 

看了2天RFC,终于让DNS支持edns-client-subnet协议,通过google dns resolver的请求,可以获取用户的ip地址。
国内很多CDN和DNS提供商都已经实现了,但网上的中文资料比较少,所以在这里分享一下,能力有限,错误之处还请谅解。

问题

  • CDN使用DNS获取查询IP,根据IP对用户进行地域调度。但这里获取的IP地址是DNS地址,而不是用户真实的IP地址。
  • 大多数情况下,我们假设用户通过会使用离自己网络最近的DNS resolver,CDN调度基本还是准确的。
  • 但也有很多nameserver设置错误,或者用户使用google public dns(nameserver 8.8.8.8/8.8.4.4)或opendns进行DNS resolver

比如:

  1. 国内用户设置nameserver 8.8.8.8 (dig xxx.com @8.8.8.8)
  2. 我们得到的DNS query IP是74.125.16.208,判断IP属于美国,,,加利福尼亚州山景市谷歌公司
  3. 这个时候,我们的DNS会返回离美国加州最近的CDN节点IP给用户。
  4. 国内用户错误的调度到美国节点…… :(

edns-client-subnet

  • google提交了一份DNS扩展协议,允许DNS resolver传递用户的ip地址给authoritative DNS server.
  • CDN的DNS支持该协议,就可以获取用户真实的IP地址,进行准确的调度。
    图片1
  • OpenDNS和Google Public DNS已经支持了该协议,如果希望他们的query中带有用户IP,需要联系他们添加白名单。提供nameserver的hostname、ip以及可以用来测试解析的域名即可,一般几天就可以搞定。(注:我是晚上22:l00提交的申请,第二天10:00就已经生效了)

实现

一. 支持发送和接收edns-client-subnet的dig

  1. 先下载bind,下载地址
  2. 下载edns-client-subnet dig patch,下载地址
    下载上述2个包,将patch打进bind,编译出dig进行测试:

注意上面的OPT PSEUDOSECTION,已经可以发送和接收edns-client-subnet请求了

二. 协议

  • DNS协议
  • DNS query会包含header和RR 2部分,这里只介绍我们关注地方,网上可以搜到很多协议的介绍,比如这个http://archercai.blog.sohu.com/60779796.html
  • header会描述本次请求中Questions、Answer RRs、Authority RRs和Additional RRs的数量,RR部分会详细描述每个资源的内容,所有的RR格式是相同的,如下:

  • 个人理解edns-client-subnet是对edns协议的扩展,附加在一个DNS请求的Additional RRs区域,这里重点描述edns-client-subnet的结构
    • EDNS协议 Extension mechanisms for DNS (EDNS0):http://tools.ietf.org/html/draft-ietf-dnsind-edns0-01
  • EDNS0每个字段的结构和描述如下:

  • OPT 的值41,详细的协议值如下:

  • RDLENGTH描述RDATAD的长度,edns-client-subnet的详细格式存在RDATA中,如下:

  • OPTION-CODE: 2个字节
  • OPTION-LENGTH: 2个字节,描述它之后的内容长度(BYTE)
  • FAMILY: 2个字节,1表示ipv4, 2表示ipv6
  • ADDRESS: 实际存放IP地址的地方,ipv4长度为4,google发送过来的长度一般为3,隐藏了ip地址最后一位

三. 开发

完成前2个步骤,就可以开搞了,逻辑很简单:
1. 判断dns query是否包含Additional RRs,读取NAME部分
2. 读取10个字节(byte),判断TYPE是否为41,rdlength > 8
3. 如果rdlength > 8,再读取8个字节,对应OPTION-CODE(2)–>OPTION-LENGTH(2)–>FAMILY(2)–>SOURCE NETMASK(1)–>SCOPE NETMASK(1)
4. 读取剩下的address,长度 rdlength – 8 或者 option-length – 4都行
注:读取到的地址长度为4,可以用socket.inet_ntoa变成ip地址,如果不够4个字节,需要后面补\x00
5. 获取到的IP地址就可以用来进行判断调度了
6. respond时也需要增加一个Additional RRs区域,直接把请求的Additional内容发过去就可以(如果支持source netmask,将请求中的source netmask复制到scope netmask中,OpenDNS要求必须支持scope netmask)

四. 抓包

  1. 发包
    • 发送dns query请求时,可以看到Questions:1, Additional RRs: 1
    • Additional RRs中,type: 41(OPT), rdlength: 12 (google发过来的包,长度为11,没有IP地址最后一位)
    • 12 – OPTION-CODE(2) – OPTION-LENGTH(2) – FAMILY(2) – SOURCE NETMASK(1) – SCOPE NETMASK(1) = 4,IPV4 地址的大小
      图片2
  2. 回包
    • 发送dns query请求时,可以看到Questions:1, Answer RRs:1, Additional RRs: 1
      图片3

75 Comments

  1. wilbur
    2013/06/26 at 4:39 下午

    chinacache,dnspod都是已经支持的

    • 2013/06/28 at 3:28 下午

      chinacache不支持,我们最近遇到这样的问题,和蓝讯沟通过多次,表示并没有将这个技术用于线上系统

      • wilbur
        2013/06/28 at 3:41 下午

        不是吧,我最近还问过他们的技术,他们说搞了这个

      • Dennis
        2013/07/23 at 5:20 下午

        蓝汛并没有将这个技术用在线上

        • wilbur
          2013/07/24 at 2:03 下午

          上次看国外一篇关于CDN的文章,提到了中国擦车是支持edns的。 他们没支持,还是销售不懂?我就不知道了

  2. anysite
    2013/07/02 at 11:24 上午

    verycdn 的dns 是支持

  3. siyu
    2013/07/03 at 3:05 下午

    这个喜欢
    tag

  4. 2013/07/06 at 8:56 上午

    bind view 怎样匹配这个edns-client-subnet 呢?

    • wilbur
      2013/07/08 at 2:54 下午

      bind没用过,你找找有没有支持的版本或补丁。
      powerdns是支持的

  5. Kevin
    2013/07/15 at 3:13 下午

    我在bind修改了下,可以实现
    不过,不知道怎么样申请加入GOOGLE?

    • wilbur
      2013/07/15 at 3:35 下午
      • Kevin
        2013/07/15 at 4:06 下午

        这怎么申请啊,谢谢!!

        • wilbur
          2013/07/15 at 4:27 下午

          链接地址给你了,提交你的nameserver 域名、ip和可以测试的域名,说明添加到edns-client-subnet whitelist就可以了。

          • mazhechao
            2013/11/08 at 10:54 下午

            Google的页面似乎没有地方提交?

    • tao
      2013/08/29 at 2:28 下午

      请问 bind 9下如何修改代码来实现?谢谢

      • wilbur
        2013/08/29 at 4:42 下午

        这个你得问楼上了,bind我没改过

    • tao
      2013/09/02 at 11:59 上午

      能请问下,bind如何修改可以支持?

      谢谢

    • Richard
      2014/08/03 at 9:25 下午

      Kevin,你好!我对这个bind实现edns也很感兴趣,能否学习下你实现的代码哈?

      • Richard
        2014/08/03 at 9:30 下午

        求教!

  6. Kevin
    2013/07/17 at 5:03 下午

    你好,
    在RFC里看到optcode 是 0×0008
    然后在谷歌测试中发现,optcode 是0x50fa
    不知道这是为什么?

    • wilbur
      2013/07/17 at 5:57 下午

      EDNS0_SUBNET = 0x50fa // client-subnet draft

    • 2013/09/12 at 6:13 下午

      bind9 怎么修改支持?谢谢了。

  7. liu
    2013/07/29 at 3:20 下午

    你提到”将请求中的source netmask复制到scope netmask中”

    按照draft写的,会有scope mask > source mask的情况,比如权威配置
    acl xx1 { 1.1.1.128/25;}
    acl xx2 {1.1.1.0/25;}
    请求中字段是:1.1.1.128/24

    不过好像直接copy source mask为scope mask也没什么影响。即使local dns缓存了一个sub-optimal结果。除非,有人再用1.1.1.1/25去请求local dns

    • wilbur
      2013/07/29 at 3:57 下午

      恩,是这样的。
      不过一般情况下都是scope mask < source mask吧。
      我是所有netmask都支持,我的调度配置是很据location,而不是netmask,所以没有任何问题。
      逻辑是这样的:请求带有的source netmast > 16,就让scope_netmask = source_netmask。 否则scope_netmast = 16

      • jarvis
        2013/09/22 at 11:11 上午

        你好,我遇到这样一个情况:多台域名服务器配置都一样放在不同地域,然后在一个地方设置8.8.8.8查询同一个网址,结果不会到美国,但是却在国内几个点跳来跳去,我们怀疑是不是google的服务器做了缓存导致的。
        起初我之直接复制source_mask作为scope_mask直接response。
        后来我将匹配到的acl地址作为scope_mask返回,如:
        request:1.1.1.1/24
        acl{1.1.1.0/24;}
        scope_mask=1.1.1.0/24
        但是依然没有解决上述问题,求指教,Thanks.

        • wilbur
          2013/09/22 at 11:28 上午

          没太懂你的意思,是你在设置8.8.8.8的机器上dig域名,发现返回的地址每次不对?
          谷歌肯定会缓存的

          • jarvis
            2013/09/22 at 12:29 下午

            我们要根据用户的Ip地域返回不同的服务器ip地址,之前如果没有支持edns,设置8.8.8.8就会返回海外的ip。现在支持了edns,不会到海外了,但是返回不同的国内服务器地址。
            如用户在广东,应该返回广东的服务器地址,但是现在有时返回广东的服务器,有时返回湖南的。

          • jarvis
            2013/09/22 at 12:57 下午

            是的,我是想实现广东的用户查询就返回我们广东的服务器地址,但是现在有时返回广东服务器有时返回其它地区的服务器

        • wilbur
          2013/09/22 at 3:32 下午

          这个应该是你们程序实现问题吧,你用支持edns-cliet-subnet的dig测试下,dig xxx +client=ip ,ip分别写广州、北京等地方,看看测试数据

          • jarvis
            2013/09/22 at 11:20 下午

            这个dig我测试过,没有问题。现在我们将所有域名服务都完全设置成scope mask=acl的方式貌似可以了。谢谢了。

          • wilbur
            2013/09/22 at 11:45 下午

            :)

  8. tao
    2013/09/02 at 11:45 上午

    因为现使用的是bind, 想请问各位,bind如何来实现支持?

    谢谢了

    • wilbur
      2013/09/02 at 1:30 下午

      我们不用bind,实在没精力帮你改,不好意思。你自己研究下bind,不难的

      • tao
        2013/09/04 at 9:29 上午

        thank

    • jakegod
      2013/09/18 at 12:17 下午

      在Bind下我已经实现,如有需求请联系jakegod@sina.com

      • wilbur
        2013/09/18 at 12:46 下午

        赞,业界良心! 我还准备中秋节搞一搞,关键我们不用bind,实在挤不出时间。

        • jakegod
          2015/03/04 at 3:35 下午

          你好,我先前在这里回复了:

          在Bind下我已经实现,如有需求请联系jakegod@sina.com

          这个邮箱地址很久前不用了,麻烦能帮忙删除这条评论,或者屏蔽这个邮箱地址么,谢谢!

          • lostnetwork
            2015/08/25 at 8:45 下午

            你好,你发我下支持的版本么,谢谢 42385360@qq.com

      • 2013/09/18 at 3:51 下午

        给我一个,我的邮箱hzpyy@foxmail.com

      • mingjiagu
        2014/04/11 at 11:11 上午

        请问scope mask的值怎么设置

        • wilbur
          2014/04/14 at 11:32 上午

          看你DNS server能力和划分力度,我们是32

          • laneovcc
            2014/04/29 at 12:16 下午

            你们现在的scope是0吧。。。?

          • wilbur
            2014/04/29 at 4:28 下午

            印象中最小我设的是16

      • Green
        2014/12/25 at 1:37 下午

        给我一个,我的邮箱zhaory@cernet.com

      • jakegod
        2015/03/04 at 3:37 下午

        这个邮箱地址已经不用,谢谢!

  9. 2013/09/02 at 12:22 下午

    呵呵,后台兄弟给力,共享也给力,撑一下
    EDNS哦,这个功能实用、强大
    业务需求可以找我 linwq@chinanetcenter.com 哈,广告一下

  10. atao
    2013/11/18 at 6:35 下午

    请问,这个edns在运营商方面支持的如何?bind9支持edns的补丁有了吗?

    • wilbur
      2013/11/19 at 11:24 上午

      运营商估计没有支持,bind9的edns补丁你问问其他人,我们没有使用bind

  11. keengo
    2013/12/18 at 4:53 下午

    我也想申请这个白名单,是怎么申请的,能否帮助我一下?

    • wilbur
      2013/12/18 at 8:28 下午

      评论里面写了怎么申请,你看看

  12. peipei
    2014/03/13 at 11:45 上午

    OpenDNS和Google Public DNS已经支持了该协议,如果希望他们的query中带有用户IP,需要联系他们添加白名单。提供nameserver的hostname、ip以及可以用来测试解析的域名即可,一般几天就可以搞定。(注:我是晚上22:l00提交的申请,第二天10:00就已经生效了)

    能告诉下哪里申请提交白名单么

    • wilbur
      2014/04/18 at 6:14 下午

      就在上面的评论里面,仔细找找:)

  13. 2014/04/14 at 7:47 上午

    [...] IPPool类的初始化和该类中FindIP方法进行解析处理是smartdns中最关键的两个要素,这两个要素在下面详细介绍。其他的特性比如继 承twisted中dns相关类并重写处理dns请求的方法、升级twisted代码支持解析和处理edns请求等大家可以通过代码了解。edns知识可 以猛戳这里:DNS support edns-client-subnet [...]

  14. jimi
    2014/04/21 at 11:01 上午

    楼主您好,google提交白名单的地址是什么,您公布的链接好像有点问题,是个论坛……

    • wilbur
      2014/04/21 at 11:05 上午

      是个论坛,他们有管理员会看的,你搜下那个论坛里面以前的人怎么申请的帖子看看吧

  15. 2014/04/24 at 10:05 上午

    bind支持edns-client-subnet?

    • wilbur
      2014/04/24 at 11:21 上午

      不支持

      • 2014/04/24 at 2:13 下午

        能问一下你们用的是哪款dns软件呢?
        powerdns?unbound?

        • wilbur
          2014/04/28 at 11:24 上午

          自己写的,第一版你就是我们开源的那个smartdns,第2版用go写的,主要为了支持我们这边的场景,加入了对HTTP的支持,健康检查等功能。

  16. 2014/04/24 at 4:44 下午

    再对照RFC看了一下,这个功能好像没有实现完整?尤其是关于缓存的处理..

    • wilbur
      2014/04/24 at 5:11 下午

      我没考虑缓存,我们的应用场景不太需要。

  17. 2014/08/05 at 2:15 上午

    dns-client-subnet IANA分配的Code是20730吗?

    • wilbur
      2014/08/05 at 2:08 下午

      TYPE = 41
      bind 9.9.3 code是0×8
      bind 9.7.3 code是0x50fa

  18. tank
    2014/12/17 at 11:57 上午

    请问下博主,鄙司在支持edns后任然有不少国内的ip解析到我们国外的点。不知道小米目前解析出错的情况多吗?用户指定了非google dns和opendns的情况多吗。

    • wilbur
      2014/12/17 at 1:26 下午

      用户自己配置google dns和opendns的情况非常少。我们支持ends,但用户的local dns不传递edns也是没用的

  19. 笑笑弥勒佛
    2014/12/23 at 4:55 下午

    您好,请问:

    1:有哪款开源组件(如bind9,NSD),支持edns。
    2:如果bind9不支持edns的话,我们想改代码,改哪里呢?

    我的邮箱,13070109@cnsuning.com

    谢谢。

    • wilbur
      2014/12/24 at 11:10 上午

      powerdns

  20. soar
    2015/08/13 at 4:53 下午

    Hi:

    我使用你文章中的bind版本及patch进行编译产生的dig软件,但是查询时不存在这个字段输出,感觉好像没把client ip没生效,
    ; CLIENT-SUBNET: 104.119.200.200/32/0

    具体输出如下:
    $ ./bin/dig/dig http://www.baidu.com +edns=0 @8.8.8.8 +client=123.4.3.2

    ; <> DiG 9.7.3-P1 <> http://www.baidu.com +edns=0 @8.8.8.8 +client=123.4.3.2
    ;; global options: +cmd
    ;; Got answer:
    ;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 40190
    ;; flags: qr rd ra; QUERY: 1, ANSWER: 3, AUTHORITY: 0, ADDITIONAL: 1
    Herer
    ;; OPT PSEUDOSECTION:
    ; EDNS: version: 0, flags:; udp: 512
    ;; QUESTION SECTION:
    ;www.baidu.com. IN A

    ;; ANSWER SECTION:
    http://www.baidu.com. 306 IN CNAME http://www.a.shifen.com.
    http://www.a.shifen.com. 299 IN A 119.75.218.70
    http://www.a.shifen.com. 299 IN A 119.75.217.109

    ;; Query time: 326 msec
    ;; SERVER: 8.8.8.8#53(8.8.8.8)
    ;; WHEN: Thu Aug 13 16:53:20 2015
    ;; MSG SIZE rcvd: 101

    • wilbur
      2015/08/14 at 11:39 上午

      好久了,具体细节我都忘了,应该是百度的DNS不支持edns的协议。谷歌的8.8.8.8只是负责把你的client ip传给百度的dns server

  21. 2015/10/30 at 4:08 下午

    你好,我想咨询一样,怎么申请谷歌协议的白名单,edns

  22. wk
    2016/01/12 at 1:52 下午

    你不要用自己当前ip地址当做+client=123.4.3.2,我测试的时候也发现这个规律,如果你自己的ip和+client值一样时,就会不显示CLIENT-SUBNET

  23. 冠宇
    2016/06/30 at 6:13 下午

    赞井老板,最近也在搞这个,已经开发完了,从文中受益了。

发表评论