查看原文
其他

怎样进行反向图像搜索?搜索工具的优缺点有哪些?

TT 情报分析师 2024-03-13
反向图像搜索是最广为人知、最简单的数字调查技术之一。许多浏览器都可以做到,比如在谷歌搜索图像。

如果只是使用谷歌搜索图像那么会有局限性,还有更多的信息谷歌并没有显示。下文会详细介绍怎么样进行反向图像搜索。详细描述搜索引擎之间的核心差异,Yandex、Bing和Google在五张来自世界不同地区的图像进行测试。

反向图像搜索领域无可争议的领导者是俄罗斯站点Yandex,第二名是Microsoft的Bing 和Google ,第三是:TinEye(http://tineye.com/) ,但这个网站专门研究侵犯知识产权的行为。


Yandex:
网址:https://yandex.com/images或
https://yandex.ru/images/

Yandex是迄今为止最好的反向图像搜索引擎,具有识别人脸、风景、物体的强大功能。在Yandex上从北美,非洲和其他地方拍摄的照片仍然可以返回有用的结果,但可能会返回大部分来自俄罗斯,乌克兰和东欧的图像,而不是目标图像。

Yandex使用的面部识别算法非常好。Yandex不仅会寻找看起来与里面相似的照片,而且还会寻找同一人的其他照片(通过匹配面部相似性来确定)



下面可以看到这三个搜索引擎是如何搜查谢尔盖·杜宾斯基(Sergey Dubinsky)的脸,谢尔盖·杜宾斯基是MH17坠毁事件的俄罗斯嫌疑人。


Yandex从不同的来源发现了大量杜宾斯基的照片(只有两个排名靠前的返回结果中有无关的人)。谷歌没搜到,而必应只有一个结果(第二排第五张图片)也显示了杜宾斯基。


bing:
网址:https://cn.bing.com/visualsearch/skills
在过去的几年里,必应在其反向图像搜索能力上赶上了谷歌,但仍然有限。必应的视觉搜索,提供了一些有趣的功能。

在图片搜索中,Bing允许裁剪一张照片,裁剪图像的结果将排除无关元素,重点放在用户定义的框上,但是如果图像的选定部分较小,则手动裁剪照片并提高分辨率-低分辨率图像(低于200x200)会带来较差的效果。

下面,一张谷歌街景图中一名男子遛狗的图片被裁剪成只关注狗狗。与原始图像相匹配,包括哈巴狗、法国斗牛犬、英国斗牛犬、獒和其他犬混合在一起。


Google

网址:images.google.com


到目前为止,最流行的反向图像搜索引擎。谷歌对大多数基本的反向图像搜索都很好。其中一些相对简单的查询包括识别照片中的知名人士,查找在网上分享了相当多的图像的来源,确定一件艺术品的名称和创作者等。

例如,当搜索一名试图在特朗普集会上攻击BBC记者的男子的脸时,谷歌可以找到裁剪图片的来源,但找不到任何其他的照片,甚至找不到与他有简单相似之处的人。


虽然Google在寻找此人面部或相貌相似的人的其他实例方面不是很强大,但它仍然找到了截屏照片的原始出处,未经裁剪的版本,显示出一定的实用性。

创意搜索


还可以使用其他一些更专业的搜索引擎。例如,康奈尔实验室(Cornell Lab)的Merlin Bird ID应用程序
网址:https://merlin.allaboutbirds.org/photo-id/
在识别照片中的鸟类类型或提供可能的选项方面非常准确。





此外,虽然FlagID.org不是一款应用程序(https://flagid.org/),也不能反向搜索照片,但它会手动输入有关旗帜的信息以找出它来自哪里


语言识别(Google Translate)


使用谷歌翻译的手写工具来检测手写的字母*,或者选择一种语言(如果你已经知道了),然后自己把它写出来。

下面,一家咖啡馆的名字(“雾中的刺猬”)是用谷歌翻译的手写工具写出来的,可以搜索到文字(Ёжик)。

像素化和模糊


对照片的元素进行像素化或模糊处理,以欺骗搜索引擎将焦点集中在背景上。在Rudy Giuliani的女发言人的这张照片中,上传原始的图像不会显示拍摄地点的结果。


如果模糊掉图像中间的那个女人/使其像素化,Yandex(和其他搜索引擎)可以匹配图像的所有其他元素:椅子,绘画,枝形吊灯,地毯和墙壁图案等等。


进行像素化之后,Yandex便确切知道了图像的拍摄地点:维也纳的一家受欢迎的酒店。


以下对五个图像进行测试:


为了测试不同的反向图像搜索技术和引擎,使用了不同类型的少量图像进行测试。

这些测试照片包括不同的地理区域,在西欧、东欧、南美、东南亚和美国等地区的搜索原始图像。每一张照片可以测试每个搜索引擎的优势和劣势。

俄罗斯下诺夫戈德的奥里索夫宫


下诺夫哥罗德的白色SUV


下诺夫哥罗德的旅行车


菲律宾宿雾市的城市风光


公寓大楼,“ 帕吉特宫 ”


海滨酒店”


Bloomberg广告系列2020的学生


学生


在巴西圣保罗的咖啡店


Toca doAçaí


Estacionamento(停车场)


阿姆斯特丹运河



苍鹭


荷兰国旗(顺时针旋转90度)


选择每张照片都是为了展示这三个搜索引擎的功能和局限性。


诺夫哥罗德的奥利索夫宫


Yandex毫不费力地确定了这座俄罗斯建筑。除了与源照片具有相似角度的照片外,Yandex还从其他角度找到了图像,包括从源图像的位置


Yandex也毫不费力地将照片前景中的白色SUV识别为日产Juke。


最后,在对图像进行最具挑战性的独立搜索中,Yandex未能成功识别出大楼前的灰色拖车。许多结果看起来像源图像中的结果,但没有一个是实际匹配的结果。

Bing在识别这种结构方面没有成功。几乎所有结果都来自美国和西欧,显示的房屋具有白色/灰色砖石结构或壁板和棕色屋顶。


同样,Bing无法确定白色SUV是日产Juke,而是专注于一系列其他白色SUV和汽车。


最后,必应(Bing)无法识别灰色的预告片,而将重点更多地放在了房车和较大的灰色露营者身上。


Google成功地将白色SUV识别为日产Juke,甚至在文本字段搜索中也指出了这一点。正如使用Yandex所看到的那样,从与流行参考资料相似的角度为搜索引擎提供图像。



Google识别旅行预告片/露营车,但是它的“视觉上相似的图像”搜索结果离目标图像不一致。


最终得分:Yandex 2/3;必应0/3;谷歌1/3



许多结果来自东南亚(特别是泰国,这是俄罗斯游客的热门目的地),注意到相似的建筑风格,但没有一个与来源相同。


搜索两栋建筑物(帕吉特宫和海滨酒店)中,Yandex能够识别出后者,但无法识别前者。帕吉特宫(Padgett Palace)建筑是一栋相对不那么引人注目的高层建筑,里面满是公寓,而滨水酒店(Waterfront Hotel)的内部也设有赌场,从中可以看到许多游客照片,显示出其更加鲜明的建筑风格。


Bing甚至没有在东南亚获得任何结果,这显示了对其索引结果的严重地理限制。


与Yandex一样,Bing无法识别源图像左侧的建筑物。



在使用Bing的裁剪功能,手动裁剪并从源图像提高建筑物的分辨率时,Bing都无法找到海滨酒店(Waterfront Hotel)。值得注意的是,这两个图像版本的结果在分辨率之外是相同的,但它们带来的结果却截然不同。



与Yandex一样,Google的搜索但与源图像没有很大相似之处。遵循“视觉上相似的图像”将获取的天际线的图像作为返回结果的依据(下面第二行中的第三个图像)。



与Yandex和Bing一样,Google无法识别源图像左侧的高层公寓大楼。Google在海滨公园(Waterfront Hotel)的形象方面也没有取得成功。

最终得分:Yandex 4/6;必应0/6; 谷歌2/6


Bloomberg广告系列2020年学生


Yandex还找到了应用了滤镜的照片版本(第二结果,第一行),以及来自同一库存照片系列的其他照片。


Yandex带来了同一个人的其他照片。


Bing的搜索结果很有趣:它找到了与原照片完全匹配的图片,然后带回了其他穿着蓝衬衫的男人的“类似图像”。


只关注照片模型的外观不会带来任何有用的结果,也不会提供从中获取的源图像。


Google提供其他在课堂上穿着蓝衬衫的人的照片。


Google搜索人脸的图像,但是显示了一系列其他具有相似面部毛发的男人

最终得分:Yandex 6/8;必应1/8; 谷歌3.5 / 8


巴西街景


Yandex无法弄清楚该图像是在巴西拍摄的,而是关注俄罗斯的城市景观。

至于停车标志[Esta ionamento],Yandex甚至没有搜到。


Bing 不知道这张街景照片是在巴西拍摄的。


Bing也没认出停车标志。


或Toca doAçaí徽标。


尽管该图片直接来自Google的街景视图,但Google反向图片搜索无法识别上传到自己服务中的照片。


正如Bing和Yandex一样,Google无法识别葡萄牙语的停车标志。


最后,Google并没有接近识别Toca doAçaí徽标,而是专注于各种类型的木板,显示了它如何专注于图像的背景而不是徽标和文字。

计分卡:Yandex 7/11;必应1/11;谷歌3.5 / 11


阿姆斯特丹运河


Yandex确切知道这张照片是在阿姆斯特丹拍摄的,找到了在阿姆斯特丹市中心拍摄的其他照片,甚至还包括框架中有各种鸟类的照片。


Yandex将照片前景中的鸟正确地识别为灰鹭(сераяцапля),并且还以与源图像相似的位置和姿势返回了一系列灰鹭图像。


Yandex未能通过识别照片背景中悬挂的荷兰国旗的测试。当将图像顺时针旋转90度以正常模式显示标志时,Yandex能够识别出它是一个标志,但是在结果中未返回任何荷兰标志。


Bing仅认识到此图像显示的是城市景观,但没有阿姆斯特丹的结果。


尽管Bing努力寻找城市景观,但它正确地将这只鸟识别为灰鹭,包括在描述该鸟的页面上显示的特殊“外观”结果。


但是,与Yandex一样,无论是原始形式还是旋转形式,荷兰国旗都使Bing感到困惑。


Google专注于城市中各种铺装的道路,而阿姆斯特丹则没有。

谷歌在鸟类识别工作中已经接近了,但它是一种灰色而不是蓝色苍鹭。

Google也无法识别荷兰国旗。尽管Yandex似乎认识到图像是一个标志,但Google的算法着眼于将图像构图的窗台,并将该标志错误地标识为窗帘。


最终得分:Yandex 9/14;兵2/14; 谷歌3.5 / 14

识别下方二维码加入情报学院知识星球。社群内有6000+专业情报资料,汇总开源信息的《今日安全》简报,周一至周五持续更新。加入后可与业内大咖和专业人士互动交流学习,并优先获得全球各类情报信息相关资料。

信息图:美国在世界各地的军事存在

2024-01-18

航班追踪初学者指南

2024-01-17

查找网站真实 IP 的方法

2024-01-16

美国在亚洲各地建立情报网络伙伴关系

2024-01-16

美国军事力量评估2024

2024-01-15


继续滑动看下一个
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存