Google 开始卖实景三维数据了～
在2023年的Google I/O大会上，谷歌本次针对Google Maps又带来了比较大的两个新动作：
第一、将Immersive View扩展到了路径导航上，去年的I/O大会上Google首次带来了基于NeRF技术构建的Immersive View产品方案，今年则将该技术进一步应用到路径导航这个常用的地图使用场景上，确实也带了不少热度，昨天也看到了朋友圈很多人在转发这个消息；
第二、Google Maps开放3D Tiles格式的实景三维数据服务，关于这部分的消息看大家转发的还不多，虽然实景三维数据在18年前就已经在Google Earth中了，但是一直以来对开发人员是不开放的，Google Earth Web版本中虽然倾斜也是通过瓦片加载的，但是格式并不开放，本次谷歌宣布以OGC社区标准3D Tiles格式开放Google的实景三维数据，但是这并不是免费的，所以在商业模式上采用了常用的云服务的方式来进行收费，这也是我标题中说Google开始卖实景三维数据的原因了；
1、将Immersive View 应用到路径导航
看这两年的Google I/O的发布会，看样子是Google是要在地图这个场景下沿着NeRF这个技术方向一直走下去了，其实在我个人看来，NeRF一个最关键的创新就是找到了一种适合用于神经网络训练的3D场景表达方式，其实主要就是辐射场这样的表达方式，这个表达方式相对于我们常用的“网格+材质”的表达方式更加适合神经网络的训练，也有技术栈可以将使用体渲染的辐射场转换成“网格+材质”这种格式便于和现有的一些工具兼容，而在今年主打NeRF的LumaAI就直接推出了直接可以在UE中使用体积渲染呈现辐射场的插件。
谷歌做城市级的NeRF场景其实具备一些先天的优势的，主要就是谷歌积累了大量的街景以及航拍的数据，而直接利用这些图片其实就可以利用NeRF的多视图合成能力进行三维场景的合成的，核心就是要提高合成场景的质量以及提升训练的速度。
自从NeRF被提出来之后，围绕着原始的NeRF就产生了很多的改进模型，因为原始模型存在锯齿以及训练速度慢的问题，而Mip-NeRF通过使用圆锥体方案替代单一射线采样方案，提高采样率从而解决锯齿问题，但是这种方案并不能解决训练速度慢的问题；
而在去年的时候，英伟达提出了采用多级哈希编码替代vanilla NeRF中的positional encoding编码方式，从而实现提升训练速度的Instant-NeRF方案，但是这种方案存在会引入锯齿的问题。
所以在今年的时候，谷歌基于这两个方案整合得到了既能抗锯齿又能提升训练速度的Zip-NeRF，从给出的对比效果上来看，Zip-NeRF在抗锯齿方面确实有很好的效果（右边是Zip-NeRF的效果）。
但是从本次I/O大会上展出的效果上来看，Immersive View不仅能够很好的渲染符合真实物理场景的三维，其实还可以表达一些模拟合成的场景，比如交通的情况以及天气的情况，而这些就需要借助一些新的技术，比如阿里巴巴和浙大合作的READ模型就可以支持进行一些特定场景的合成，从而服务于自动驾驶的训练，相信Immersive View中也使用了类似的技术。
随着AI生成图片以及视频的逐渐成熟，AI生成3D也会成为可能，而更加适合神经网络的NeRF应该是一种更加合适的表达方式。
2、开放3D Tiles格式的实景三维数据服务
在Google Map的文档中介绍了当前的实景三维的3D Tiles的瓦片格式是按照OGC 3D Tiles的标准进行组织的，所以支持3D Tiles的框架都可以通过该服务地址进行实景三维的瓦片数据加载。
比如Cesium、Deck.gl、Carto都可以进行数据的加载，如下给出了使用CesiumJS加载Google实景三维数据的方法以及对应的加载效果，其实从效果上来看，在我的机器上还是可以做到比较流畅的加载的，基于Carto的版本感觉效率上稍微差一些。
不过这里面需要提供一个API Key，而在创建API Key的时候就可以看到相应的收费条款，每个月可以获得200美元的免费额度，超过这个额度应该就是要收费的。
不过现在也发现这个服务一推出就有人开始研究如何将这些瓦片数据下载到本地了，从技术上来没有什么太大的问题。
3、国内实景三维建设还是要提速
相较于Google Maps的全面实景三维化，当然这个实景三维的表达手段可以是Mesh结构的倾斜三维模型，也可以是基于NeRF的神经网络三维场景，但是总的来说，地图表达朝着AI化、实景化、沉浸化这个方向发展是没有什么问题的。
反观一下国内的实景三维的发展来看，从政府的推动上，国内版的实景三维却一直是雷声大雨点小的状况，国内关于实景三维的推动政策很多，但是到地方迟迟推不动，尤其是在当前的经济形势下，实景三维如果看不到很好的收益路径，各方面投资的兴趣都不是很大，但是我们在最近的一些调研中也发现现在很多地方新组建的大数据公司对统一投资经营本地的实景三维数据表达出了很强烈的兴趣，通过一次投资多次销售的方式，这个逻辑也是行得通的，毕竟单就政府这个体系内，完全可以将CIM、实景三维、水利数字孪生的分级底板统一统一规划投入，不仅集约而且高效，而且有了这个投资的基础，相应的部门推动起来就容易的多了，也希望这种模式也能够尽快的推广开。
除了政府和国企的推动，其实传统图商也是重要的力量，但是目前图商对于实景三维的投入似乎也比较谨慎，甚至很多图商的地图平台上的国内的影像目前都还比较老旧，再投入实景三维就成为奢望了，去年一些图商发布的一些数字孪生地图感觉主要还是类似MAX的简模。
除了这个三个主体，其实目前一些遥感厂商未来似乎也会成为重要力量，通过遥感进行三维场景的重建也是一种方案，尤其是随着卫星遥感数据量以及时效性越来越高的情况，这可能也是一种发展路径。
总的来说，还是希望早点能够让实景三维走进更多的应用，让大家都能在沉浸的空间感知中获益。
近期我在知识星球，开了一个新的知识星球社群：「GIS小丸子Pro」，一期会提供《从零开始学习数字孪生》这样的专栏内容，目前包括Unity和UE两个版本，内容形式包括项目源码、上手教程、疑难解答等，快速帮助大家上手，具体的介绍可以参考《丸子2.0，从零开始学习数字孪生～》，如下是社群的入口，欢迎扫码加入!!!