网络安全研究的强大工具:专业搜索引擎
在二十一世纪,搜索引擎已经成为人们日常生活中不可或缺的工具,这其中也包括了信息安全专业人员。
我们依赖于像谷歌这样的搜索引擎来查阅产品评价、预订酒店,甚至是寻找词语的同义词。
谷歌的巨大成功催生了众多搜索引擎的出现,比如Safari、必应、Yandex、DuckDuckGo等等。
但是,你是否认为这些公开的搜索引擎可以提供所有你需要的信息呢?
答案是否定的。
那么,当你需要查找对公司或网站安全至关重要的信息时,你会怎么做?
如果这些公开搜索引擎无法提供你所需的数据,又该怎么办呢?
别担心,解决办法是有的!
一些特定的搜索引擎专门为网络安全团队和安全研究人员量身定制。这些搜索引擎能够帮助你发掘对安全操作至关重要的信息。
你可以利用它们来查找暴露在互联网上的设备、追踪潜在威胁、分析漏洞、准备网络钓鱼模拟,以及发现网络安全漏洞等等。
本文将深入探讨这些搜索引擎,并介绍一些在安全研究领域中最好用的工具。
安全研究中信息收集的重要性
出于安全目的收集信息是研究人员为保护数据、隐私并分析潜在威胁所采取的第一步。
这个过程主要包含两个目标:
- 收集与系统相关的数据,例如操作系统主机名和系统类型、系统横幅、系统组、枚举等。
- 收集网络信息,例如私有和公共网络主机、域名、路由电缆、私有和公共IP块、开放端口、SSL证书以及UDP和TCP运行的服务等。
收集这些数据的好处在于:
- 了解网络中所有连接的设备、用户及其位置,从而可以保护它们。 如果发现任何异常情况,可以立即阻止系统或用户以保护网络。
- 收集到的信息有助于发现漏洞,以便在它们造成安全问题之前进行修复。
- 了解潜在的攻击模式和方法,如网络钓鱼、恶意软件、僵尸网络等。
- 利用这些数据来评估产品表现、确定盈利领域,并获取市场情报以优化产品。
现在,让我们来了解一些非常适合安全专业人员的最佳互联网数据搜索引擎。
Shodan
Shodan 是一款领先的搜索引擎,专为连接到互联网的设备提供安全研究服务。 全球数以万计的安全专家、研究人员、CERT团队以及大型企业都在使用这款工具。
除了网站,你还可以用它来扫描网络摄像头、物联网设备、冰箱、建筑物、智能电视、发电厂等等。Shodan 可以帮助你发现连接到互联网的设备、它们的位置以及使用这些设备的人。它让你能够追踪你的数字足迹,并监控网络中所有可以直接通过互联网访问的系统。
通过了解谁在使用你的产品以及他们的位置,你可以获取竞争优势,从而进行实证业务和市场情报分析。Shodan 的服务器遍布全球,24/7 全天候可用,确保你可以获得最新的情报并进行数据分析。
这款工具可以帮助你了解特定产品的潜在买家、生产该产品最多的国家或受安全漏洞或攻击影响最大的公司。Shodan 还提供了一个公共API,方便其他工具访问其数据。 它支持与Nmap、Chrome、Firefox、FOCA、Maltego、Metasploit等工具的集成。
ZoomEye
由知道创宇(Knownsec)开发的 ZoomEye 是中国首个网络空间搜索引擎。ZoomEye 通过基于IPv6、IPv4和站点域名数据库的大量映射节点和全球探测,24/7全天候扫描并查找多种服务协议和端口,从而实现对本地或整个网络空间的映射。
经过多年的技术发展,ZoomEye已经具备了自主研发核心网络空间搜索引擎的能力,从而促进了对跨时空动态映射数据的趋势分析。
你可以利用ZoomEye的组件搜索导航,快速而准确地发现目标资产。为此,他们提供了多种设备类型,例如网关、CDN、大数据、录音机、CMS、Web框架、软件平台等。
你还可以搜索特殊主题并检查漏洞影响评估。这些主题包括数据库、行业、区块链、防火墙、路由器、网络存储、相机、打印机、WAF、网络存储等,并查看报告以获取详细信息。ZoomEye提供每月10,000个结果的免费套餐。其付费套餐起价为每月35美元,可获得30,000个结果。
Censys
Censys REST API 是另一个用于执行数据搜索以确保安全的可靠选择。 通过网页界面访问的信息可以通过此API以编程方式访问。
你需要此工具来执行所有脚本访问。它们的API端点需要通过API ID使用HTTP进行身份验证。他们提供多个API端点,包括:
- 搜索端点,用于针对Alexa Top Million、IPv4和证书索引执行搜索。因此,该端点会显示所选字段的最新数据。
- 视图端点在获取网站域、主机IP地址或证书的SHA-256指纹后,收集有关特定网站、主机或证书的结构化数据。
- 报告端点使您可以发现特定查询的已获取结果的汇总值细分。
- 批量端点一旦你拥有这些证书的SHA-256指纹,就会收集有关批量证书的结构化数据。
- 帐户端点在Censys中获取您的帐户数据,包括您当前查询的配额使用情况。
- 数据端点显示您可以从Censys下载的信息的元数据。
GreyNoise
使用简洁的界面开始你的数据研究 GreyNoise。它管理IP地址数据,减少安全工具的干扰,并告诉安全分析师哪些活动是安全的。
GreyNoise的Rule It Out (RIOT)数据集提供了用户和商业应用程序(如Slack、Microsoft 365等)或网络服务(如DNS服务器或CDN)之间的通信背景。通过这种即时可用的视角,分析师可以放心地忽略无害或不相关的活动,并将更多时间用于调查实际威胁。
数据通过他们的SOAR、SIEM以及TIP集成、命令行工具和API提供。此外,分析师还可以使用上述平台或GreyNoise的分析和可视化工具查看活动。如果检测到任何系统扫描互联网,你会立即收到警告,因为设备可能受到了威胁。
你的安全团队可以通过使用GreyNoise查询语言(GNQL)探索数据来发现网络上的活动。该工具使用CVE和标签来识别行为并显示威胁实例。它还可以丰富和分析从数千个IP地址收集的数据,以识别意图和方法。
SecurityTrails
使用准确而全面的数据增强你的安全性,并自信地做出业务决策 SecurityTrails。他们的API快速且始终可用,你可以访问历史和当前数据,节省时间。
你可以查看已完全编入索引并随时可以访问的DNS记录历史。你可以从大约30亿条当前和历史WHOIS数据以及WHOIS更改中进行搜索。他们每天都会更新数据库,截至目前,他们拥有超过2.03亿条数据并且还在不断增长。
使用这些数据来搜索域名和运行技术的网站。你可以从每月超过10亿条条目中访问被动DNS数据集。你还可以实时获取关于IP、主机名和域的最新情报。
你甚至可以找到迄今为止已知的所有子域。 SecurityTrails具有索引情报和标记功能,你可以轻松快捷地搜索数据。使用API查找可疑的DNS记录更改,并查看相关性。
通过信誉评分系统,你可以访问数据以预防不良行为者及其IP和域,并通过跟踪命令和控制服务器获取恶意软件信息来追捕威胁。
你可以开展网上欺诈调查、查看收购和兼并情况、找到隐藏的细节和网上资产。通过了解你的品牌商标或其他版权材料何时被用于欺诈性域名,来保护你的品牌。
结论
网络安全问题日益严重,因此最好通过加强漏洞来保护你的数据和隐私,防止任何人在你之前利用它们。
因此,利用这些互联网数据搜索引擎进行搜索,以便在攻击者之前发现漏洞并做出更好的业务决策。