查看原文
其他

论坛实录丨人工智能,开解空间位置问题的新钥匙

极海纵横 2019-06-30

点击图片填写用户调查问卷,留下您的注册邮箱

免费获得3个月GeoHey平台标准版服务

越来越多的人这样判断——未来的社会发展趋势是传统行业利用互联网技术在云端用人工智能的方式处理大数据。那么,在以人工智能为代表的第四次商业革命来临之际,极海云平台在人工智能领域取得了哪些进展呢?极海核心技术研发总监徐翔从技术原理、创新思维方面对人工智能与地理的结合做了详细讲解,他谈到,通过机器训练和深度学习,人工智能与大数据结合可以灵活高效地进行高精度道路和建筑提取、地物识别与搜索、数据生成与补充以及选址模型学习。


让我们来看看他是怎么做的~          

https://v.qq.com/txp/iframe/player.html?vid=c05240nb1fe&width=500&height=375&auto=0


以下为徐翔现场演讲实录:


大家好,我是徐翔,在极海主要负责一些核心技术的研发,其中包括今天我要和大家分享的人工智能。前面我的两位同事和大家分享了我们云平台在云计算和大数据上的进展,今天我来讲一讲人工智能如何结合以上两种技术,成为解开空间位置问题的新钥匙。


最近几年,人工智能得到井喷式的的关注,既然是井喷式的关注,其中会不会有泡沫呢?如果拿我们现在能够接触到的人工智能的能力和技术去和电影、文学作品里五花八门的人工智能相比的话,我们会发现,这好比石器时代到工业文明的跨度。那为什么现在大家都说我们处在一个人工智能时代呢?我们需要回顾一下历史,了解一下为什么上个世纪的人工智能成为了泡影,现在的人工智能能够取得如此大的突破。


其实在我们追求人工智能这个伟大理想的过程中出现过很多流派,其中就有一种相信智能的产生依赖于符号处理系统的符号处理,以及性能的产生需要模拟人脑这个智能体的联接主义。

有一个很有意思的实验,一个人他不懂中文,仅仅依靠翻译表就能表现的像会说中文一样,于是有人根据这个开发了一个系统,他是一个机器人,根据数据库里很多很多的规则就可以表现的很接近图灵测试。这种方式和我们根据前提假设进行逻辑推理的思考方式是不是很像呢?但其实这实在称不上是一条通往智能的道路,它也无法应用到真正需要智能的场景中去。人类需要的人工智能其实不仅仅是计算机能够计算的比人类更快,而是需要它能够像我们一样思考,甚至能够比我们思考的更好。这也是后一种流派,联接主义所孜孜以求的。经过很多年的潜心发展,后一种流派开始以很多种新的面目示人,出现了基于概率统计的智能,基于机器学习的智能,基于大数据的智能,这些才是我们现在所说的真正的人工智能,其实现在人工智能取得突破的领域,没有一个不是依靠概率统计、机器学习以及大数据的。所以我们现在所处的就是这样的一个人工智能的时代。

所以在这样一个人工智能的时代,当我们思考地理位置的时候,我们是不是应该带着人工智能给我们带来的技术和能力去思考?我们现在对数据的理解以及我们建立模型的方式、对分析的算法有没有更优的解决方法?这一切需要我们对地理问题有非常深刻的认识,然后把这些经验编码在其中才有可能。


下面我介绍一下我们是如何将人工智能与地理问题相结合的。我们做的第一件事情是开发了一个多源数据融合的工具,搭建了从位置数据到深度学习的桥梁。

地理数据具有多维度和多尺度的特征。一个地点具有多种维度的特征,并且这些特征通常都不在一个维度上,你可以把这个维度理解为分辨率,比如说现在的朝阳区有它的土地利用分布,有它的人口、GDP、道路、河流、POI等等,可能土地利用是10米的分辨率,人口是50米的分辨率,灯光是30米的分辨率,当我们要解决地理问题的时候我们要选择合适的地理尺度把多源的多尺度的数据在一个统一的尺度下进行超采样。通过这种方式我们可以把这些各种尺度的数据,在任意一个尺度,比如说我们的格网或者交通小区,或者是行政区划等尺度下进行聚合,当我们有了这样一个多源数据融合工具,我们可以把各个维度上的位置信息统计起来,为下一步的训练做好统计。


我们做的第二件事情是使用人工智能编码广义的空间坐标,深挖地理要素之间的隐含关联,传统的空间坐标包括了XYZ三个维度,其实刚刚我们也说了,一个地点上除了它的位置还有很多其他信息,比如人口、土地利用等等。很自然的我们可以把这些其他信息也加到这个空间坐标里去,形成一个多维的广义的空间坐标,大家注意,这不是单纯的把这些指标加进去就完了,我们通过人工智能的做法进行相关性去除,形成了更能表达这个地理特征的一个广义的空间坐标,有了这样的一个坐标以后我们可以快速的根据我们的云计算法,对地理要素进行查询和检索。

正是基于这样的灵感我们可以算出任意一个地块的广义的空间坐标,这个坐标是一个两千维的向量,我们可以找出相似的地物。下面可以举更多的找相似地物的例子。


我们做的第三件事情是使用深度卷积网络,做地理空间域特征的自动组合,当我们使用多源的数据融合工具得到了这个数据,我们要考虑的是如何在模型里最大限度的提取这些数据的关联信息。其中的关联信息包括两个方面,第一个方面是地理特征之间的关联,不同的特征之间的相互关系,比如说灯光图和经济发展水平就有很大的关系。另一个是地理空间的关联,这表明同一个维度在地理空间上的变化情况。比如说,因为地理空间是连续的,所以相邻的位置会互相影响,并且这个影响的程度,会随着距离的增大而减少。

传统的方法是怎么建模这两种关联的呢?对于第一种关联他们可能会想很多指标,比如说刚刚说到的汲取河流水体的,对于后一种联系,可能他们会做一个二次函数去做拟合,但是有没有一种方法可以同时表达这两种联系,并且能够找出最优的联系呢?我们发现深度卷积神经网络可以很好的做到,里面都是三维的数据体,宽和高表达同一个要素的特征在地理空间上的关联,深度表达不同的地理特征之间的联关联,包括POI,土地利用,灯光图等等。

卷积神经网络的卷积操作,可以对这些特征进行线性的组合,形成新的特征。请大家注意这里的卷积是在三维空间上的,二维空间表达同一个维度在空间上的联系,它多出来的一个空间的维度表达不同特征之间的联系,通过卷积的操作我们可以进行地理特征和地理空间的自由组合,生成更多更抽象的特征,这样更能描述现实世界里各个特征之间的联系。

我们在做影像分割的时候把这些特征可视化,左边是一个假彩色合成的影像,这是我们的模型第一层提取出来的特征,第一层的特征和它的形状还是很相关的,因为我们能够辨认出一些地物的形状,这是第二层的特征,这是第三层,随着层数越深,我们现在人类已经无法理解它提取的特征是什么意思了,但是正是靠这些抽象的特征,卷积神经网络可以给出最后的分割的结果。


前面讲的几点都是我们在技术上的思考,最后我想从思维的角度来谈一谈如何把人工智能和地理问题相结合。

在工业革命时代,机械思维是主导的思维方式。但是现在是大数据时代,大数据思维,它是想要让我们从海量数据中寻找强相关关系,而不是一味的追求精确描述事物之间的因果关系,传统的方法可能让我们在解决一个地理问题的时候尝试先想清楚它的因果关系,然后再去建模分析,这种方法在有些情况下是可行的,但是有些情况下就会遇到很大的阻碍。


我们在给美国一家公司做选址的时候,他们在美国有非常完善的模型,因为我们国内的数据和他们的不一样,所以没法直接用。如果我们要照他们的方式建立模型的话就代价很大,而且时间成本也很高。所以我们完全抛弃了这种方式,转而用大数据的思维,用机器学习的方法,从数百种特征里去找跟他想要知道的东西最相关的特征,我们的模型也取得了很好的效果。


从这个例子可以看出来,在人工智能时代如果我们尝试用大数据思维去考虑问题的话,能够解决以往的一些传统方法很难解决的问题。而当我们掌握了这种思维方式的时候其实我们就拥有了开启地理问题的一把崭新的钥匙。刚刚说到了我们在人工智能结合地理问题上的一些思考和一些实践。现在我想分享一下我们在四个具体的方面取得的一些进展。


第一个进展是提取地物,相信大家都有使用导航软件的经历,不知道大家有没有遇到这种情况,有时候跟着导航软件往前走,走着走着前面没路了,这时候不得不往回走,浪费时间不说,你的心情也会像道路一样,变得不顺。我想从A地到B地,我对路完全不熟悉,只能靠着导航走,走到半路的时候,有个老司机说两点之间开了一条新路,两点之间直线最短。有些道路新开了,没有及时更新,道路的更新速度对导航的精度起着非常重要的作用。有没有一种方式可以去快速的提取道路呢?其实现在随着卫星产业的发展,我们现在已经每天获取一次全球高精度的影像,如果我们从影像中提取道路的话不管是高速公路还是羊肠小道我们都可以从影像里面来,司机可以马上知道,哪条路不通了,哪里开了一条新路。

这些图是我们从影像中提取道路的例子,目前对主干道路的提取精度达到98.8%,IOU64.7%,对街区提取精度是95.7%,IOU是56.3%,IOU就是我们模型训练好测试集对于影像提取出来的道路和实际的道路的交集,IOU描述的是我分割的位置的准确度,我分割出来的道路是不是真的和实际的导读刚好叠合在一起了。因为影像分割是比较难的问题,一般精度在90%以上,IOU在50%以上就是比较好的结果。前段时间在一个竞赛平台上发布了一个影像分割的比赛,他们对于道路的分割IOU也在50%左右。


除了道路我们还关心建筑。比如城市规划部门想知道全市总共有多少个建筑,哪些建筑是违建的,我们用两个小时就可以提取北四环内的所有的建筑,这是传统的方法无法想象的。我们的建筑提取精度92.4%,IOU是64.8%。

这是我们做的一个交互识别建筑的例子。可以对任意一个区域的影像提取建筑,提取的精度几乎是实时的。


前面大家看到的都是提取一种地物的例子,这里我们做了一个项目可以提取31类地物,大家看这幅图能不能够区分出里面的常绿阔叶林和针叶林。

我们的模型能非常精确的做到这一点,经过三百个线下点的检验,我们的模型已经达到了非常惊人的精度。通过这种方式来比较各个年份,各种覆被的面积覆盖情况,我们可以精确的分享三峡大坝对于周边环境的影响。

第二个进展是可以从海量的影像里面进行地物的识别和搜索。现在,随着卫星产业的发展,每年发射的卫星数量越来越多,并且分辨率越来越高。如何从这些覆盖全球几乎包含所有地标地物的影像中快速的搜索我们感兴趣的地物是具有非常重要的意义的。

这是我们做的影像识别和搜索的例子,左边的两个图是我们对路况内影像识别得到的结果,右边两个图是对路况内的图进行搜索得到的结果,我们还做了交互的demo,您点击任意一个地块,系统给出这个地块可能是什么类别。这个模型我们用了数十万图片里面的地物进行训练,通过这种方式我们可以以一种全新的方式去实时的探索我们生活着的周边的世界。

这类技术在现实中有很多应用,北京的烟囱分布在哪里,这是我们去全北京搜索烟囱和储藏罐得出的结果。

第三个进展,用机器学习,也就是用人工智能生成大量的数据,并且对我们已有的数据进行补充和验证。这其中的数据包括了街区数据,标准化的地址数据,包括像房价等一些数据。分享一下街区数据是怎么生成的,街区在人文地理学的定义里是城市里由主要道路围成的相对独立的区域,我们以主要道路和河流对街区进行分割,分割的时候遇到了两个比较棘手的问题,第一个问题是有些小城市的道路不足,所以街区没有被分开,还有的城市有的道路过于密集。我们提取了道路和河流以此为依据,把未分开的进行切分,为了解决第二个问题,我们对街区进行分类,然后训练了一个分类的模型,把这些位置相邻,并且类别相同的街区进行合并。

这是我们提取的北京的街区的效果,从这个例子可以看出来,人工智能并不一定要解决最后的问题,它可以仅仅是生成数据,供我们以后的分析做准备。

我们除了街区数据,还生成了标准化的地址数据,其实地址的准确度在地图的搜索还有货物的配送方面是非常重要的。但是即使是非常简单的地址也会存在缩写,漏写这些错误。我们去训练地址,区分出地址不同的部分,让地址的搜索更加匹配,更加简单。

前边讲的都是生成数据的例子,现在讲一个补充数据的例子,在我们平台上有些数据是缺失的,比如说可能房价信息是缺失的,我们会训练一些机器学习的模型,比如说房价,我们用这个小区的位置,楼房的类型,绿化率建立一个模型去预测房价,通过这个方式我们可以把缺失的数据进行补全,当我们有了这样一个模型以后我们可以预测所有的数据,通过我们预测的结果和实际的数据是不是偏差过大,筛选出可能错误的数据,然后进行验证。


我们的第四个进展是使用人工智能结合以前的经验知识,得到了商业分析的模型。我们主要是基于街区这个研究单元,对三大类POI、房价与人口数据、刷卡消费数据,这部分我们的同事,会在接下来的案例和大家详细介绍。


最后,和大家总结一下,人工智能到地理问题,给我们解决地理问题带来的一个非常新的思路,也给我们的平台带来了更大更强的能力。但是我们也会遇到一些挑战,比如训练数据不足,比如训练时间非常长。再比如我们的训练模型特别复杂,很难把我们现有的知识编码到已有的模型里面去,这些都是我们需要解决的问题。但是我们相信这些问题随着我们的进一步的努力,以及在座各位的努力,都会不再成为问题,因为我们的客户,现在对人工智能这个技术已经产生非常强烈的兴趣,也非常愿意花时间和精力去做这件事情。所以我希望在座的各位和我们一起去使用人工智能,去取得更大的突破。谢谢大家!


PS:后台回复“WGDC”获取嘉宾演讲视频及PPT哦~

 

 


点击下图▼体验最新的云平台服务

点击下图▼进入极海博客

加入我们

扫描图片▼关注我们

有空常到我们的知乎“Hey狗哥”逛逛

联系合作

contact@geohey.com

Tel:13910118699 张先生

    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存