Facebook融合微软AI建筑基底发布最新版本Daylight 地图~
昨天Facebook的Daylight地图团队发布了了v0.8版本的开放地图数据集,该版本数据集在微软的建筑基底的基础上又融合了Esri Community Maps项目的地图数据。
其中微软的数据包括美国50个州125192184通过从影像中提取生成的建筑物基底面,这些建筑物的提取分为两个阶段:
1、语义分割-使用DNN识别航空影像上完整的建筑物图斑;
2、多边形化-将建筑物像素图斑转换成为矢量的多边形;
通过这些数据的加入,弥补了OpenStreetMap在很多地方建筑物数据的缺失,让数据内容更加丰富。
Facebook从2020年的3月开始发布第一个版本的Daylight Map Distribution。到2021年的2月12已经发布了8个版本的数据版本。
那到底什么是Daylight Map?
Facebook本身在各种各样的应用中存在大量使用地图的场景,比如如何通过地图寻找朋友,寻找商机等等,那如何构建这样的基础地图就成为了摆在Facebook面前的一个问题,从其他互联网厂商的路径来看其实大多数采用的一个策略都是在冷启动阶段先购买第三方图商的服务,等自己的团队能力逐渐成长起来就会采用并购的方式直接收购一家图商。
但是Facebook的选择可能更加工程师一些,他们开始就将目光瞄准在了开源地图OpenStreetMap身上,因为OpenStreetMap数据范围覆盖全球,同时又有专注的社区团队进行维护,同时在我看来选择开源而没有像国内互联网公司使用专业图商的原因在于Facebook可能在地图数据的使用场景上没有那么严格,普通的LBS场景下这样的数据质量足够了。
同时Facebook是OpenStreetMap开源基金会的金牌企业会员,从2015年开始到2020年一直在赞助OpenStreetMap各种各样的活动,包括一年一度的State of Map活动。
Facebook使用OSM数据其实是采用离线更新的方式,在OSM主库的那一端会接受社区志愿者上传的地图编辑数据,然后通过导出成Planet文件的方式将数据导出分发,但是Planet文件是一种类似记录日志的文件格式,主要记录的是一些CRUD的操作,是一种交换格式。
但是这样的数据格式显然是没有办法用来直接在本地系统中使用,因为本地系统需要支持各种各样的数据查询和分析需求,所以在Facebook端自己会维护一个自有格式的OSM数据的副本,然后通过本地的数据库来支持各种各样的位置服务、导航服务、底图服务等,这也就意味着Facebook需要经常性的从OSM主库中通过Planet文件进行数据的同步更新,但是OSM主库每天大概会有500万条要素数据的更新产生,如果不及时同步就会导致Facebook本地的数据很快就会过期了。
但是同步数据也会有一个问题,就是如何保证从OSM主库同步过来的数据质量?由于OSM本身是一个开放的地图制图平台,在数据质量上没有办法做到严格的控制,作为下游的数据使用方还需要进一步的进行质量控制,在过去就发生过类似的事情。
1、比如一些恶意的编辑,比如下图(左)显示的2018年Mapbox的地图上就出现了纽约市在地图上的名字就被别人恶意篡改成了种族主义的代号“Jewtropolis”替换了的问题。还有一些过时的命名,比如俄亥俄州谢尔比山幼儿中心的名称包含了“弱智”一词,而这些词都是是从GNIS直接导入进来的。
2、还有一些有问题的几何错误,比如Facebook曾经检查除了一处对幼发拉底河的错误修改并对它进行了修正并重建了所有的关系;除此之外还有在很多隐蔽的地方存在这种卡通的涂鸦。
因而Facebook团队构建了两个工具来进行OSM数据的评估和审查:逻辑变更数据集(LoChas)和 机器增强的自动审查系统 (MaRS)。
LoChas将OSM变更集分解为单独的CRUD操作,然后对它们进行聚类,以便进行更有效的人工审查。MaRS使用启发式和机器学习(ML)技术的混合来自动评估LoChas,而不需要再进行进一步的仔细审查了。这些工具的最终目标是创建一个漏斗,机器增强技术可以减少需要人工干预的工作量。
经过这样的一套体系的保证可以进一步提升了OSM的数据质量,由于Facebook使用的数据是基于开源的OSM的,所以Facebook希望将这些成果通过开源的方式开放给社区,让更多的人可以从这份数据中受益,因而这份数据命名为Daylight Map Distribution,在数据的分发上Facebook采用了类似Linux操作系统的发行方式,Daylight Map Distribution会成为众多OSM数据发行版本其中的一个,并成为独立的分支进行迭代,同时也鼓励更多的企业和个人发布自己的数据集。
另外Esri将使用最新版本的Daylight Map Distribution构建和托管OSM Daylight地图。最初的Beta版本是使用10月底发布的Daylight v0.5更新构建的,并可以在ArcGIS Online的OpenStreetMap Daylight组中找到资源。他们计划每月发布OSM日光图的更新,并且已经开始进行下一个更新。