如何调查网站

Original HYNE 情报分析站

该文章中用到的工具都附有网址，这是之前写的相关文章：对网站信息进行检索

战术信息

你访问的一个网站充满了可见的信息，这包括电子邮件地址、电话和传真号码、商号、商会、增值税和银行账户号码、姓名、地址、社交媒体账户等等，你可以很容易地检查并在你的进一步调查中使用这些信息。

也请看一下网站的条款和条件以及隐私免责声明。公司经常提供他们的公司细节。

监控一个网站

大多数网站都在不断变化。这意味着一个网站上可能会有新的相关信息。你可以通过每隔一段时间看一下一个网站来监测这些变化。例如，像Visualping.io【https://visualping.io/】这样的网站可以让你自动监测一个网站，如果发生任何变化，你会收到电子邮件通知。你还可以准确地设置必须有什么变化才能得到通知。

WHOIS信息

术语 "WHOIS "指的是允许你询问有关谁对一个域名或IP地址负责的协议。通过查询WHOIS数据，你可能会发现谁是一个域名的注册人，以及哪个主机提供商（"注册商"）注册了该域名。例如，WHOIS信息可能包括姓名、地址、电子邮件地址、电话号码以及有关技术或行政联系人的信息。

在检索WHOIS数据时，重要的是你要结合多个来源并验证你所发现的数据。有帮助的工具有sidn.nl【https://www.sidn.nl/】（针对.NL域名）、DomainBigData.com【https://domainbigdata.com/】、DomainTools.com（付费）【https://whois.domaintools.com/】、viewdns.info【https://viewdns.info/】和Whoxy.com【https://www.whoxy.com/】（还有历史数据）。你也可以通过Linux的 "命令行 "检索WHOIS数据。

档案

我们已经描述过，网站的变化可以被自动监测。当然，在某些情况下也可以查看网站的历史档案。允许你查看网站归档文件的知名工具有Archive.org（https://archive.org/）、Archive.is（https://archive.is/）和Cachedpages.com（http://www.cachedpages.com/）

你也可以使用Google Cache来检索一些有趣的信息! 你还知道Archive.org提供一个 "高级搜索 "吗？超级方便!

Archive.org

网站上的文本

大多数网站由大量的纯文本组成。这对你来说是好事，因为文本非常容易调查。然而，我们希望检查这些文本是否也显示在第三方网站上。这是因为骗子和犯罪分子有时会偷懒，在多个网站或多个广告中使用相同的文本。这意味着，你可以找到其他网站上使用的相同的广告文字。

检查一段文字是否出现在其他网站上的一个方法是，复制一段文字并通过谷歌等搜索引擎运行。搜索引擎将显示所有包含完全相同文本（或部分文本）的网站。例如，其他自动为你做这件事的网站有Copyscape.com（https://www.copyscape.com/）和Plagium.com（http://plagium.com/）。

Copyscape.com

网站上的照片和视频

除了文本之外，很多网站还包含照片和视频。这些照片和视频可以成为你调查中的一块拼图。首先，查看这些照片和视频，了解它们是否包含相关信息。你可能会发现一个地点或时间或相关人物。此外，进行反向图像搜索，看看这些照片和/或视频资料是否也出现在其他网站上。最后，还要研究照片或视频的Exif数据。Exif数据可能包含位置数据、日期和时间、设备类型、技术数据，等等。

反向图片搜索

隐藏的链接和页面

你访问的一个网站可能包含比你想象的更多的链接和页面。我们谈论的是网站本身的链接（"内部链接"）和通往其他网站页面的链接（"外部链接"）。这些网站上的网页确实存在，但要找到它们可能很困难。如何找到隐藏的链接和网页？

找到隐藏网页的第一个方法是通过谷歌或Yandex这样的搜索引擎，用 "site:aware-online.com "操作符进行搜索。该操作符将显示我们网站aware-online.com的所有网页。这样做的缺点是，它只获得被搜索引擎索引的结果。

第二个方法是查看网站的Robots.txt文件。这个文件告诉你哪些网页将不会被搜索引擎索引。因此，Robots.txt文件中提到的网页确实存在，但无法通过常规搜索引擎发现。

第三种方法是使用一个浏览器扩展程序，如Link Gopher。这样的插件可以帮助你从一个网页上映射出更多的链接，但在许多情况下它并不完整。

一个更好的方法是使用更强大的工具，如Photon-crawler。有了这个Python脚本，所有的内部和外部链接都会被自动记录下来，你还可以即时了解到使用过的文件、电子邮件地址和电话号码。

光子

隐藏的域名

子域是一个域名的一部分。例如，www.exam.aware-online.com 可以是www.aware-online.com 的一个子域。很明显，子域可能包含对你的调查有用的额外信息。因此，始终检查一个网站是否有子域是很重要的。检查的方法之一是通过Pentest.tools.com（https://pentest-tools.com/）网站或通过一个强大的Python工具，如Spiderfoot（https://www.spiderfoot.net/）。

蜘蛛脚

来源

当你访问一个网站时，你的网络浏览器会将你正在看的网站的源代码翻译成一个美观流畅的可读格式。然而，一个网站的源代码看起来与你正在浏览的网站非常不同。源代码的好处是，源代码可以包含很多你无法从 "正常 "网站中提取的信息。例如，网站Coolblue.nl（https://www.coolblue.nl/）在源代码的顶部有一个招聘文本。

源代码可能包含的其他相关信息有模板、插件、文件名、Google Analytics ID、Google AdSense ID等等。这些信息可以为你提供有关网站上运行的软件的更多信息。此外，利用源代码的数据，你可以调查是否有其他网站返回相同的源代码。例如，一个网站管理员经常在多个网站上使用一个谷歌分析ID。

谷歌分析代码

IP地址/DNS

如果你在URL中输入我们的网站，域名系统（DNS）会自动将我们的域名翻译成一个IP地址。这很有用，因为如果没有这个系统，我们还要记住所有我们想访问的网站的IP地址。

网站的IP地址可以是 "唯一 "或 "共享 "的。有了独特的IP地址，你可以直接在URL中输入网站的IP地址来访问该网站。例如，这可能很好地防止你的网站被防火墙封锁，因为共享同一IP地址的网站被封锁了。

对于共享IP地址，一个服务器上的多个网站使用同一个IP地址。你不能直接在URL中输入这些IP地址，因为服务器不知道你想访问网络服务器上的哪个网站。通过输入域名，网络服务器的IP地址会提示你显示该域名。

通过共享IP地址，你有时可以发现哪些网站正在网络服务器上运行，这可能与你的调查有关。此外，你还可以得到控制该IP地址的组织的信息。

DNS数据

通过Windows命令提示符的简单NSlookup显示，我们的网站aware-online.com的IPv4地址是46.30.215.53。这个IP地址不能通过URL直接访问，这意味着这个网站服务器上有多个网站在运行。通过DomainBigData（https://domainbigdata.com/46.30.215.53）可以看到这些网站中的一些。

SSL证书

网站证书用于验证网站（网站服务器）和客户端（你的电脑）之间的流量，并保证其安全性（"加密"）。证书是由所谓的认证机构（CA）提供的，它可以验证一个网站的身份。有了有效的证书，作为用户你就知道你是在访问 "好 "网站，而且连接是安全的（加密的）。

SSL证书以不同形式存在。例如，有对单个域名有效的证书，对多个（子）域名有效的证书，以及对无限数量的子域名有效的证书（"通配符"）。有了这些数据，作为OSINT从业者，你可以使用SSL证书来调查该证书是否也在其他（子）域名上使用。

可以帮助你做到这一点的工具有Shodan.io（https://www.shodan.io/）、Censys.io（https://censys.io/）、Crt.sh（https://crt.sh/）和Entrust.com（https://www.entrust.com/ct-search/）。@Sector035（https://twitter.com/sector035）为Osintcurio.us（https://osintcurio.us/2019/03/12/certificates-the-osint-gift-that-keeps-on-giving/）项目写了一篇很好的博文。

网站证书

其他顶级域名

顶级域名"（TLD）是域名的最后部分，例如.nl、.com或.xyz。顶级域名由所谓的 "注册机构 "管理，它们与ICANN签有合同。Stichting Internet Domein Registratie Nederland（SIDN）（https://www.sidn.nl/）负责.nl顶级域名。

拥有网站的公司往往希望他们的域名也能通过其他顶级域名被访问。我们不仅注册了域名aware-online.com，而且还注册了域名aware-online.nl。（https://www.aware-online.nl/）

尽管当你访问网站时，aware-online.nl直接被重定向到aware-online.com，但你可以获得有关这个.nl顶级域名的更多信息。而在某些情况下，你将只是看到其他顶级域名的网站，它可以为你提供可能的相关信息。因此，一定要调查是否有多个顶级域名，例如通过一个搜索操作符，如。

-site:aware-online.com site:aware-online.*

最高级别的域名

网站参考

调查哪些网站引用了你的目标网站可能是有趣的。这是因为这些网站可能与你的目标网站有关系。例如，你可以通过使用以下谷歌操作符来调查。

-site:aware-online.com "aware-online.com"

你将只看到提到 "aware-online.com "的结果，除了出现在aware-online.com网站本身的搜索结果。

链接到一个网站

开放的端口

检查网络服务器上哪些端口是开放的以及哪些服务在这些端口上运行可能是有趣的。例如，这些信息可以用来绘制漏洞图，这通常是在所谓的 "渗透测试 "或 "五项测试 "中进行。

例如，可以帮助你的网站和工具有Pentest-Tools.com（https://pentest-tools.com/home）、The harvester（https://github.com/laramies/theHarvester）和Nmap.org（https://nmap.org/）。始终考虑执行entest是否是法律允许的，目标网站是否不受影响，以及你是否被允许执行entest。

Nmap

使用的电子邮件地址

组织的雇员显然经常使用他们从其组织得到的电子邮件地址。例如，我们使用电子邮件地址info@aware-online.com，用于我们对学生的交流。当然，找出我们的员工是否使用多个电子邮件地址可能很有趣。例如，可以帮助你的工具是SpiderFoot.net（https://www.spiderfoot.net/）和Hunter.io（https://hunter.io/

）。