说明:不少朋友后台私信很难看到我们的文章推送 。是因为微信改版,大家可以设置公众号成“星标”,就可以及时看到我们推送的文章了。
设置的方式就是点击上方的公众号名称,然后点击右上角的“...”,就可以看到“设置星标”了。
【本号分享OSINT相关的案例、工具、技巧等资料的目的只用于OSINT爱好者学习交流,切勿使用文章资料中的技术进行违法活动,利用本号中的技术造成的后果与本号无关,倡导维护网络安全,人人有责,共同维护网络文明和谐。】
在线查找数据是成为一名优秀的OSINT网络情报分析师所需的基本技能之一。然而,在浩瀚的互联网上,数据收集和信息检索可能具有挑战性。开始搜索OSINT网络情报调查相关数据的最有效方法之一是使用搜索引擎。然而,仅仅在搜索栏中输入关键字可能无法提供令人满意的结果。 Google、Yandex和Bing等搜索引擎允许用户通过各种搜索引擎运营商优化搜索。这种技术通常被称为“Google dorking”或“Google hacking”;尽管它也可以应用于其他搜索引擎,例如 Yandex和Bing。虽然建议开源情报分析师和爱好者熟悉所有可用的高级搜索运算符,但在进行OSINT网络情报调查时,有一些精选的运算符肯定比其他运算符更有用。在这篇文章中,将提到各种搜索引擎运算符,但重点关注“文件类型”运算符。搜索引擎使用自动网络爬虫在清晰的网络上定位和索引在线内容。这些爬虫访问网站、跟踪链接并分析网页内容。当他们遇到各种文件类型的文档时,他们的索引系统会处理上下文,并提取文本和元数据。然后,该信息被添加到搜索引擎的数据库中,将其与相关网页和文件类型相关联。当使用“filetype:”命令时,搜索引擎会过滤结果,仅显示与特定扩展名类型匹配的结果。
文件类型运算符可以与任何其他高级搜索运算符结合使用,例如“site:”、“inurl:”、“allintext:”等。事实上,搜索查询越有针对性,找到所需内容的机会就越大。例如,搜索“site:.gov.* filetype:pdf world map ”(不带引号)将产生数百万个结果,其中包含 .gov.* 域中托管的 pdf 格式的世界地图,通常与政府网站相关。然而,pdf 仅代表搜索引擎可索引的数十种文件类型之一。
Google、Yandex 和 Bing 在索引的文件格式类型方面存在一些差异,因此,在使用“filetype:”命令时可以指定的内容也存在一些差异。
截至2023年10月,Google是可索引文件扩展名范围最广的搜索引擎,最近于2023年8月添加了几个新扩展名。Yandex和Bing仍然保留了大量可用扩展名列表,但未能包含某些非常重要的类型。对于OSINT网络情报分析师和调查人员来说很有价值。
迄今为止,还没有遇到过由Yandex或Bing索引但尚未由Google编目的文件类型。因此,下面的列表代表了截至 2023 年 10 月搜索引擎最全面的可索引文件类型。
对于OSINT网络情报调查来说,哪些文件类型最有用?既然知道了可用索引文件类型的列表,那么在进行OSINT网络情报调查时,应该优先考虑哪些类型?最终这取决于您正在调查的人或内容。总的来说,有几个类别是最值得关注的: 数据库:csv、xls、xlsx 和 ods 文件扩展名书面文档:pdf、doc、docx 和 odt 文件扩展名对于数据库来说,.csv、.xls、.xlsx 和 .ods 等扩展名非常有价值。针对这些类型的文件将引导您找到包含个人和可识别信息、财务数据、库存记录、预算信息、机密业务数据等的用户列表。对于下面的示例,目标是找到一个逗号分隔值 (csv) 文档,其中显示英国医院(NHS信托的一部分)的财务数据,其中包含2020年新冠疫情爆发期间收集的信息。在Google 搜索栏上,输入:
allintext:expenses Financial 2020 filetype:csv site:nhs.uk该搜索字符串确保的结果将显示包含关键字“expenses”、“financial”和“2020”的信息。文件类型将是 csv 数据库,文档将托管在nhs.uk二级域中。结果,发现了超过一千个符合的标准的数据库。
下面显示了Google 结果列表中标题为“ 2020年10月信任交易数据”的第一个条目的内容示例。该文件包含 2020年10月1日至31日期间与卫生部以及布莱顿和苏塞克斯大学医院 NHS信托基金 (BSUH) 相关的交易记录。每个条目都提供了各种详细信息,包括日期、费用范围、供应商和交易记录金额,提供该时期财务活动的全面概述。
通过包含 .pdf、.doc、.docx 和 .odt 等书面文档的文件类型扩展名,可以轻松查找法律文档、政府报告、书籍、手册和说明、成绩单、商业合同等。对于下面的示例,目标是查找由美国政府发布的pdf格式的有关OSINT的文档。考虑到这一点,搜索了url中包含单词“osint”的索引文档,这些文档由与美国政府相关的 .gov 域托管,且采用 pdf 格式。搜索字符串是:
inurl:osint site:.gov filetype:pdf排名前三的结果是有关OSINT的 pdf 文件,由卫生部门网络安全协调中心 (HC3)、国土安全部 (DHS) 和中央情报局 (CIA) 托管。
最后,由于喜欢地理位置并查看地图上有趣的细节,因此总是想搜索 .kml(Keyhole 标记语言)和 .kmz(Keyhole 标记 Zip)文件。它们都是由 Google Earth Pro 打开的,这是最好的 OSINT 工具之一(而且是免费的!)。当搜索具有这些扩展名的文件时,可以发现各种地理空间数据,包括特定建筑物、地标、路线、军事基地、研究站等的坐标。经常找到我什至不知道存在的事物的坐标。对于下面的示例,目标是定位地球两极地区漂移浮标的坐标。这些专门的仪器被设计成漂浮在海洋表面并沿着洋流漂流。它们配备了收集和传输气象数据的传感器和通信系统。正如可能想象的那样,它们太小而无法通过卫星图像看到,因此几乎不可能在广阔的海洋中进行地理定位。认为收集和管理此类数据的研究项目将密切关注浮标在每个时间点的位置。(文件类型:kml 或文件类型:kmz)AND(浮标极地研究)对 kml 或 kmz 文件类型没有偏好,因此指示 Google 检查这两种文件类型,前提是它们在索引数据中包含术语“浮标”、“极地”和“研究”。通过这个搜索字符串,发现了许多引人注目的项目,这些项目提供了有关其数据的详细信息,以及北极和南极地区漂流浮标的具体位置。下面可以看到找到的一个 kmz 文件的屏幕截图,其中包含有关该研究项目的数据,包括 2017年至2021年北极地区浮标的位置。
OSINT网络情报调查的第一步是查找和收集相关数据。在广阔的互联网中,这项任务可能比预期更具挑战性。一名优秀的OSINT网络情报分析师应该掌握Google、Yandex 和 Bing 等流行搜索引擎中可用的各种高级搜索运算符。这些运算符使用户能够过滤索引内容,从而增加发现和获取通常隐藏在视线中的有价值数据的可能性。“文件类型:”是目前可用的最有价值的高级搜索运算符之一,而且绝对是我最倾向于使用的运算符。使用此运算符可以轻松找到大量极其有趣的数据,特别是与其他搜索引擎运算符结合使用时。