元宵节快乐
祝大家元宵节快乐!
是星期五。 假期不用急着回家。
今天是VSRC的知识元宵节
~
不要一直滑下去
充满有用的信息! ~
致谢
VSRC 衷心感谢其行业合作伙伴 - 为什么不以实习生的身份提交高质量的原创文章。 VSRC欢迎提交高质量的原创文章。 优秀文章一旦被录用发表,就有好礼相送。 我们为你准备了丰富的奖品! (活动最终解释权归VSRC所有)
本文是作者的域名信息收集实践。 具体介绍了如何通过官方渠道获取全球注册域名的Zone File,从而解析出域名、注册时间、过期时间、Name等信息。 以上信息足以支撑建立一个基础的基于域名的威胁情报收集系统。
1.我们先看结论
通过TLD(顶级)区域文件收集全球不同顶级域名下的所有注册域名信息。 这些信息可以用来构建企业自己的基于域名的威胁情报系统。
2. 背景介绍
毫无疑问,几乎所有安全行业的公司、组织或个人都对域名注册信息,尤其是刚刚注册、修改或过期的域名活动信息感兴趣。 网络攻击、网络钓鱼和欺诈等黑客活动通常与新域名有关。 及时掌握全球域名注册信息(包括变更信息)是有效进行威胁情报和安全响应工作的重要基础。
那么如何获取全球注册域名列表呢? 今天我给大家介绍一下获取全球注册域名信息的正确方法,关键词:Zone File。
通常顶级域名TLD都有相应的跟踪和维护组织,称为注册管理机构()。 每个注册机构将维护一个区域文件。 该文件每天更新,包括:域名、注册时间、过期时间、名称等信息。
因此,如果能够及时获取这些信息,将有助于提高检测安全威胁的能力。 幸运的是,大多数区域文件都是免费提供的。 (惊喜不惊喜?)
3.下载全球注册域名信息
简单来说,如果想要获取完整的域名信息,就必须向不同的域名注册机构申请Zone File访问权限。 我已经给你分析过了,我们直接进入结论吧。
3.1 .com 和 .name 域名
.com和.name这两个域名是由()维护的。 如需获得上述域名的Zone File访问权限,您需要申请权限。 基本步骤是:
1) 下载并填写区域文件访问申请表
2)将申请表发送至邮箱地址:
3)两到三周后(慢?还想要什么免费服务?),获得授权,接收FTP账号密码等认证信息
4) 登录FTP并下载Zone File文件。
、.vip等CZDS域名
近年来,随着互联网域名的广泛使用,过去为数不多的顶级域名早已不能满足人类社会日益增长的域名注册需求,越来越多的gTLD(顶级)域名不断涌现。
根据ICANN下属机构IANA的信息,目前至少有1000多个已注册的通用顶级域名gTLD。
为了防止用户向不同注册机构独立申请区域文件访问权限,ICANN创建了集中式区域数据服务CZDS(Zone Data)。 通过启动 CZDS 注册,您可以代理大多数 TLD(包括 (gTLD))的区域文件请求。 我们常见的.vip、.sex等域名的Zone File文件都可以通过CZDS获取。
主要流程如下:
1.访问CZDS.ICANN并注册账户
2.登录系统,输入并提交域名区域文件访问申请(可以逐个申请,也可以批量申请)
我不会告诉你有很多 gTLD 的字符串类似于 .baidu、.、. 等。
3.等待审核
这取决于您提交的域名申请。 作者在2017年圣诞节期间申请了所有gTLD的区域文件访问权。现在已经快两个月了,我已经陆续收到已批准的电子邮件。
通过CZDS,您可以随时查看各gTLD的审核进度。
无论您的申请被接受还是拒绝,您都会收到 CZDS 的回复信。
4.创建密钥(用于解密连接Zone File的FTP账户密码信息)
如果您计划使用 FTP 下载区域文件文件,请在 CZDS 后端创建单独的密钥。
5. 创建API Token(用于程序API下载Zone File)
如果您想通过官方客户端程序下载Zone File,请创建API Token。
6、使用FTP客户端或API客户端下载域名信息
CZDS的Zone File文件支持通过FTP和API下载。 推荐使用API方式,可以由程序自动实现,用于域名信息变化的对比。
访问并下载CZDS API客户端工具来解密FTP登录凭据文件或直接下载区域文件。 具体操作步骤稍后附上,我们先看一下结果。
3.3 其他获取域名信息的方法
对于CZDS中不存在的其他顶级域名注册信息,可以通过根域名数据库找到相应的注册机构。 然后向官方注册代理机构发起Zone File访问权限申请。
以.org为例,其注册维护机构为(PIR)。
访问PIR官网找到Zone File申请页面并提交申请表:)
再比如,如果您需要访问.gov域名的Zone File,可以先找到其注册维护机构Attn。
点击超链接进入注册机构网站。 网站底部有一个超链接[使用我们的数据]。 点击它即可下载.gov域名的区域文件!
4、域名Zone File分析
关于Zone File文件结构的完整分析,请参考文档:
通常Zone File文件的前35行包含Root Name等信息,从36开始就是官方域名信息,包括:
姓名
TTL
班级
类型
数据
以下是笔者从CZDS下载的一些域名Zone File信息:
5.CZDS客户端工具的使用
访问地址: ,下载说明书文档并使用。
5.1 解密FTP登录凭证
将从CZDS网站获取的密钥文件.json与客户端工具test-.py放在同一目录下。 执行命令test-.py,解密后获取FTP登录凭证。
5.2 通过CZDS客户端工具下载Zone文件
直接进入-/目录,将CZDS后台获取到的API Token放入.json文件中,执行.py进行下载。
(py) 不要睡觉:- test$ cat .json
#{
#“”:“”,
#“令牌”:“”
#}
(py) 不要睡觉:- test$ .py
6.我知道你还有问题
看到这里,你肯定会问以下问题:
如果我的区域文件访问请求被拒绝,我该怎么办?
看来没有Name的域名信息在Zone File中是看不到的。
区域文件不实时更新。 可能每天都会更新,不够及时。
获得区域文件并不意味着所有域名。 如何获取二级、三级域名?
很抱歉我无法一一回复(篇幅有限!),也不能100%解决这个问题(请增加稿费!),但我还是做了一些功课:)
6.1 商业公司可以提供更全面、及时的注册信息
我是在解释问题,不是做广告。
下载包有不同的价格。
.io 提供持续更新的域名列表
6.2 开源项目也是一个很好的补充
互联网上有一个开源项目 Sonar。 通过扫描 IPv4 网络,收集和分析来自 SSL 证书、DNS、Web 响应和通用 UDP 响应的数据,结果将公开。
Sonar每周都会生成一个名为DNS的数据集,主要包括:
1. 反向DNS记录
2. SSL证书中的常见域名和子域名