开放源代码情报(OSINT)工具在当今数字世界中扮演着至关重要的角色。这些工具可以帮助我们在互联网上挖掘大量信息,从而揭示隐藏的见解和有价值的数据。
我们每天都在互联网上进行信息搜索,但往往只关注搜索结果的前几页。然而,互联网上还存在着更深层次的信息宝藏,需要借助专门的工具才能发现。
这些工具能够从各种来源收集信息,并将其整合在一起,为用户提供全面的视图。因此,了解这些工具的价值和应用至关重要,这将帮助我们更有效地进行信息检索。
什么是开源情报?
开源情报(OSINT)指的是通过公开渠道收集信息,用于情报分析。在当今的“互联网时代”,信息的获取变得更加便捷,但也伴随着滥用和信息过载的风险。
OSINT工具的主要作用在于收集和关联网络上的信息。这些信息可以以多种形式呈现,如文本、文件、图像等。正如国会研究服务报告所指出的,OSINT的价值在于正确地传播、收集和有效利用公开信息,以满足特定的情报需求。
为什么需要OSINT工具?
当我们需要在网络上查找与特定主题相关的信息时,通常需要进行大量的搜索和分析,这会耗费大量的时间。OSINT工具的出现,使得这一过程变得更加高效。它们能够在短时间内完成信息收集和分析,从而节省时间和精力。
此外,我们还可以同时运行多个工具,收集与目标相关的各种信息,并将其关联起来,为后续分析提供支持。
接下来,我们将深入探讨一些优秀的OSINT工具。
Shodan:网络设备的搜索引擎
Shodan是一个特殊的搜索引擎,与我们常用的谷歌不同,它专注于查找连接到互联网的设备。它为安全专业人员提供了宝贵的资源,可以帮助他们识别暴露的资产。
Shodan搜索的结果通常与安全相关,包括连接到网络的各种设备,如笔记本电脑、交通信号灯、计算机以及物联网设备。安全分析师可以利用Shodan识别目标,测试漏洞、密码、服务、端口等。
Shodan还为用户提供了灵活的搜索选项。例如,用户可以搜索连接的网络摄像头、交通信号灯等。以下是一些Shodan的用例:
- 测试默认密码
- 查找带有VNC查看器的资产
- 测试具有开放RDP端口的可用资产
NexVision:AI驱动的情报平台
NexVision是一个由人工智能驱动的OSINT解决方案,它提供来自透明网络、暗网和社交媒体的实时情报。它允许用户通过常规浏览器(如Chrome和Safari)访问暗网信息,无需使用匿名浏览器Tor。
NexVision适用于各种场景,如背景调查、尽职调查、客户合规性检查(KYC/AML/CFT)、组织情报收集、第三方情报、网络威胁情报研究,甚至加密货币地址分析。
NexVision最初主要供军方和政府使用,但自2020年起已商业化,并被财富500强公司和中小型企业(SMB)广泛使用。他们提供订阅SaaS解决方案和购买情报报告等服务。
NexVision的工作原理如下:
首先,其AI引擎持续收集、分析和分类数据,构建庞大的商用数据湖。然后,引擎使用机器学习来减少误报,提供高度准确和情境化的结果。最后,所有结果都会呈现在仪表板上,用户可以轻松地进行可视化和分析。
仪表板还允许用户设置关键词警报,以实时监控目标、进行调查并分析结果,同时保持匿名性。
NexVision的界面简单易用,即使是入门级分析师也能轻松上手,无需依赖脚本或编写代码即可使用高级情报。
其社交媒体模块可以监控来自Meta(Facebook)、Instagram、LinkedIn、Discord、Twitter、YouTube、Telegram等平台的数据,并具备地理定位技术,用于确定信息传播的来源和位置。
Social Links:社交媒体情报分析
Social Links是一家软件公司,专注于开发人工智能驱动的解决方案,用于从社交媒体、通讯应用、区块链和暗网等开源渠道提取、分析和可视化数据。他们的旗舰产品SL Professional可以帮助调查人员和数据安全专业人员更快速、更有效地完成工作。
SL Professional提供了一套定制设计的搜索方法,涵盖500多个开源渠道。该产品的高级搜索功能(其中许多基于机器学习)允许用户在收集数据的同时对其进行过滤,从而获得更准确的结果。
Social Links不仅可以收集信息,还提供了先进的分析工具,用于在调查过程中提炼数据,以便更全面地了解情况。
其主要特点包括:
- 超过1000种原始搜索方法,涵盖500多个开放数据源,包括社交媒体、通讯应用、区块链和暗网等。
- 先进的自动化功能,利用机器学习提供快速准确的信息检索。
- 定制的分析工具,可以根据用户的特定需求丰富数据。
- 与用户IT基础设施的无缝集成。
- Social Links还为其产品包提供培训和支持。
对于需要顶级OSINT解决方案的组织,Social Links还提供了企业级平台SL Private Platform,这是一个本地OSINT解决方案,提供更广泛的搜索方法、完全定制化的功能和私有数据存储。
Google Dorks:高级搜索技巧
Google Dorks,也称为Google Hacking,是一种基于查询的OSINT技术,它利用谷歌的搜索运算符来精确地定位索引或搜索结果。它能够帮助用户更有效地查找特定类型的信息。
Google Dorks通过使用一些特殊的运算符来筛选搜索结果。这些运算符包括:
filetype:
用于查找特定文件类型。intext:
用于查找包含特定文本的网页。ext:
用于查找特定文件扩展名。inurl:
用于查找URL中包含特定字符串或单词的网页。intitle:
用于查找标题中包含特定字符串或单词的网页。
Maltego:信息关联工具
Maltego是由Paterva开发的一款OSINT工具,它主要用于对各种目标进行探索。它内置了一些转换功能,并支持用户编写自定义转换。
Maltego使用Java语言编写,并预装在Kali Linux中。用户需要在paterva网站上注册一个免费账号才能使用该工具。注册完成后,用户可以使用该工具在互联网上创建和分析特定目标的数字足迹。
Maltego可以用于多种目的,如IP转换、AS号识别、Netblock识别以及短语和位置识别。它可以帮助用户了解目标的详细信息,并跟踪互联网上任何实体的足迹。Maltego支持所有流行的操作系统。
TheHarvester:信息收割机
TheHarvester是一个可以从各种公开数据源中查找电子邮件、子域和IP等信息的工具。
以下示例演示了使用DNSdumpster查找子域的过程:
[[email protected] theHarvester]# python theHarvester.py -d techblik.com.com -v -b dnsdumpster ******************************************************************* * _ _ _ * * | |_| |__ ___ / /__ _ _ ____ _____ ___| |_ ___ _ __ * * | __| _ / _ / /_/ / _` | '__ / / _ / __| __/ _ '__| * * | |_| | | | __/ / __ / (_| | | V / __/__ || __/ | * * __|_| |_|___| / /_/ __,_|_| _/ ___||___/_____|_| * * * * theHarvester 3.1.0.dev1 * * Coded by Christian Martorella * * Edge-Security Research * * [email protected] * * * ******************************************************************* [*] Target: techblik.com.com [*] Searching DNSdumpster. [*] No IPs found. [*] No emails found. [*] Hosts found: 3 --------------------- lab.techblik.com.com:104.25.134.107 tools.techblik.com.com:104.25.134.107 www.techblik.com.com:104.25.134.107 [*] Virtual hosts: ------------------ [[email protected] theHarvester]#
TheHarvester可以在Kali Linux上使用。除了TheHarvester,还有许多其他工具可以用于查找子域。
Recon-ng:模块化的侦察框架
Recon-ng是一个用于对目标进行侦察的模块化框架。它具有各种内置模块,可以帮助用户根据需要提取信息。
Recon-ng的使用方法类似于Metasploit。用户可以通过创建工作区来执行操作,并在工作区中添加目标域。然后,可以使用各种模块来收集有关目标域的信息,例如google-site-web和bing-domain-web用于查找相关域,bing_linkedin_cache用于获取与域相关的电子邮件地址等。
Recon-ng是一个非常强大的工具,值得研究人员学习和使用。
SpiderFoot:自动化侦察工具
SpiderFoot是一个开源的侦察工具,可以在Linux和Windows上使用。它使用Python开发,并具有交互式GUI和命令行界面。
SpiderFoot可以自动执行对超过100个OSINT源的查询,以获取有关电子邮件、名称、IP地址和域名等情报。它能够收集关于目标的广泛信息,例如网络块、电子邮件和网络服务器。通过分析数据之间的关系,SpiderFoot可以提供更深入的见解。
SpiderFoot可以帮助用户识别漏洞、数据泄露和其他重要信息,从而增强威胁情报,并在攻击发生前发出警报。
Creepy:地理定位情报工具
Creepy是一个开源的地理定位情报工具。它可以从各种社交网络平台和图像托管服务中收集地理位置信息。Creepy使用基于确切位置和日期的搜索过滤器,并在地图上显示报告。这些报告可以导出为CSV或KML格式,以供进一步分析。
Creepy的主要功能分为两个选项卡:“目标”和“地图视图”。
Creepy使用Python编写,并提供了适用于Linux发行版(如Debian、Backtrack、Ubuntu)和Microsoft Windows的打包二进制文件。
总结
渗透测试是一个复杂的过程,需要来自各种来源的信息。希望本文介绍的OSINT工具能够对您有所帮助。
除了这些工具之外,您还可以探索其他在线渗透测试工具,以提高您的侦察和漏洞搜索能力。