深度学习在城市社会与自然景观研究中的应用——基于街景与社交媒体数据
大数据背景下的城市社会与自然景观研究
城市是现代人聚集与生活的重要场所，据人口普查统计至2019年，我国城镇人口约占总人口比重（城镇化率）60.60%，比上年末提高1.02个百分点，同时由于工作等原因存在大量的人户分离人口，居住生活在城市中的人口数事实上只会更多。通过对城市的社会与自然景观研究，量化人们在城市中生活的便利、健康、满足（自我价值的实现）程度，探究人们生活物质水平与精神幸福程度，对城市更好地向群众服务改造转变和提高生活在该城市人们对城市归属感至关重要。
人们日常生活中通过与他人、群体、周围现实环境，甚至于虚拟的网络世界的交互等会产生大量的数据，如消费、交通、访问数据等。我们生活在一个大数据的环境，如何有效地利用收集到的大量数据，分析数据表明下的现实现象，进一步揭示城市发展规划中的不足，是城市社会与自然景观研究的重要任务之一。
街景数据是通过采集设备[1] 记录城市街道现实面貌产生的数据，包括街景图片、地理定位、拍摄参数等，是记录者当下对城市客观的记录。通过对街景图片拼接得到的街景地图产品，为用户提供城市街道的360度全景图像，用户可以通过该服务获得如临其境的地图浏览体验，目前主要有谷歌、百度、腾讯企业提供的街景地图产品。
社交媒体数据是人们生活中通过媒体平台，如微博、朋友圈、flickr、Panoramio等，主观意愿下对其所处环境与自我感受的记录，数据的记录方式有位置打卡、文字、图片、短视频等。
街景数据与社交媒体数据都是人们在城市生活中对其环境和他人交互所产生的记录，具有体量大、信息量丰富、高等级真实性等特点，是城市社会与自然景观研究重要的数据组成部分。在结合其他数据前提下，研究者可在时间与空间地大尺度范围内对城市的社会现象与自然景观状况进行数据分析与应用。
深度学习的种类
深度学习（Deep Learning）是机器学习（Machine Learning）领域中的一个新的研究方向，其终极[3] [4] 目标是为了实现人工智能（Artificial intelligence）。深度学习实质还是在构建一个神经网络结构，如图所示，神经网络模型主要由输入层，中间层和输出层三大部分组成。将研究数据向计算机可识别的形式转换后作为输入层数据，如文字通过给每一个汉字赋予唯一的标识向量，就可以作为深度学习模型的输入；中间隐藏层即所谓的黑盒子，是深度学习魔力所在，有效的网络架构设计可以控制好内存大小同时增强模型的学习性能，通过训练降低目标损失就可以得到我们所需要的输出。深度学习的训练是建立在大量训练数据基础上的，迁移学习技术可以减少目标任务所需的训练数据，但也是在获取了已有的相似任务的特征向量的前提。
目前深度学习按其训练方式以监督学习，非监督学习和强化学习三大类为主。监督学习是每一个输入都有其明确的样本，通过减少网络输出与样本之间的距离，从而获取到接近于目标的输出结果；而非监督学习则是输入没有样本的训练数据，深度学习建模去挖掘输入数据的规律，得到的模型输出是对输入数据内在规律的一种表征；AlphaGo围棋机器人是强化学习的典型案例，训练中通过给予机器人根据当前棋局展开下的每一步棋子相应反馈，然后最大化累计所有决策的反馈结果，从而达到不断学习的目的。
深度学习已经发展了很多的场景应用，如图像分类、物体检测、多目标跟踪、图像风格迁移、图像语义理解、自动驾驶、自然语言处理等，按照其输入与输出的转化方式可分为分类、检测、检索、生成[5] 等。
分类是将输入的图片、文字、声音等划分为预先定义好的所有类别中某一类别，图像分割则是将图片中的每个像素都进行类别划分；检测是获取单一或多个对象的类别和位置信息；检索是通过深度学习获取输入的特征，然后从已有的数据特征中快速匹配出与输入一致的对象，如人脸识别，行人重识别等应用。
生成以生成网络为主要代表，其包括生成器和判别器两部分，生成器是将输入转化成需要的数据，输入可以为[6] [7] 空，如我们可以输入一张空白的图像，经过生成器后生成一张有内容的图像；而判别器的作用就是判别生成器所生成的数据与真实数据是否一致。持续提高判别器的判别能力，则生成器生成的数据越“真实”，生成网络就是通过不断提高生成器与判别器的对抗能力，从而得到一个数据的生成模型——生成器部分。
案例解说
麻省理工（MIT）media lab对分布在6大洲上28个国家共56个城市收集了110988张街景图片，并经过了81630名志愿者网上对任意选取的一对街景图片进行安全、活力、无趣、富裕、萧条、美丽六方面对比评价，命名此数据集为PlacePulse2.0。在这一数据集的基础上，城市研究工作者利用深度学习技术做了很多相关研究。
如A. Dubey et al.（2016）用此数据训练了一个以VGGNet为基本网络结构的孪生神经网络，网络输入为两张对比的图片，输出是哪张图片在所比较属性上更突出，在验证集安全性属性达到了73.5%的预测正确率。此研究表明了深度学习模型可以很好的模拟人们对城市街景主观感受，利用深度学习模型强大的学习能力，在足够多的数据支持下，可以得到一个在全世界范围内可用的深度学习模型。
Fan Zhang et al.（2018）先使用Strength of Schedual方法（Salesses et al,2013 and Ordonez and Berg,2014）计算此数据集中每张图片的在六大方面上的指标，然后对整个数据集划分成正负两个集合，训练了一个简单二分类的深度学习神经网络模型。使用得到的模型，对北京和上海获取到的街景图片进行二分类，得到的结果可以统计计算北京和上海的每张街景图片的属性指标，并利用街景图片的坐标数据将结果反应到城市街道上，如下图所示：
北京五环内六大方面程度地理分布图
研究中进一步分析了街景图片中各种物体类别对每项属性（如安全）的影响，通过深度学习图像分割，得到每张图片中的物体种类与面积，利用多元回归分析各种物体类别的重要性，如从安全性上面，人行道、草地、车辆、道路是起正向作用的主要物体，而天空、建筑、墙体、树木则是反向作用的类别。
城市感受与物体类别的多元回归分析流程
城市意象是城市生活者和到访者对城市的主观感受与印象，可以是一个城市经年的历史文化沉淀，是近代城市高速发展与科技应用的震撼，也可以是日常生活与工作节奏和当地风俗特色等，而照片是记录这一特性的最佳媒介。
举例来看，Bolei Zhou et al.（2014）建立了一个覆盖21个主要城市的City Perception Database，共包含了2,034,980张从Panoramio（网上照片分享平台）获取的带地理坐标图片。文中将城市属性主要归类为绿地空间、水面区域、交通、建筑、垂直高楼、体育活动与社会活动七大属性，利用深度学习分类得到所有图片所属属性类别，从而建立每一个城市的属性特性地理数据分布表达。为进一步研究城市与城市之间的相似和独特性，为每个属性训练了一个区分图片所属城市的分类器，分类器区分效果好表征城市之间在此属性上独特，而所属城市区分度精度差的则城市之间的属性相似，结果显示：在建筑属性上新德里、曼谷与其它城市区分精确度高，而巴黎，维也纳，布拉格，巴塞罗那城市互相之间错分率高。
我国学者也有相关主题的研究：曹越皓等人在基于网络照片数据的城市意象研究一文中，以中国24个主要城市在城市意象要素构成、主导方向、特色度和相似度四个模块综合定量认知城市意象。在2018年，曹越皓等人发表的基于深度学习的城市意象认知方法创新与拓展研究中，收集了重庆区域2016年8月份内带照片、文字和位置信息的微博共计58741条，用深度学习分类将所有图片分为自然景观、标志建筑、公共空间和文化生活四大城市意象类型，用深度学习语义情感分析得到每条微博的情感指数表征城市意象的评价指标，从城市意象五要素——区域，边界，路径，节点和标志角度出发，创新性的认知重庆城市意象并进行城市意象评价分析。
“酒香不怕巷子深”，Fan Zhang et al.（2020）利用社交媒体签到数据和街景数据挖掘北京城市中“不起眼”地场所地点。文中从城市中场所的类型，场所周围环境，场所访问量及访问者是本地居民还是外地旅客居多四方面去刻画分析场所，并挖掘了两种“不起眼”的场所，包括：
（1）周围环境普通、但本地居民访问人气高的餐厅；
（2）周围环境宜人，但本地和外地访问量低的公园。
场所类型可运用深度学习分类得到，同时周围环境的度量可以从上面提到的人类城市环境感受深度学习模拟获取，而场所访问量则是通过微博签到的数据和用户信息挖掘确定为本地居民还是外地旅客。
下图中“星星”标注的地点是作者挖掘到的前100名“不起眼”餐厅的分布图，并附上了8组最高本地居民访问量的餐厅及其周围环境的照片。
前100名“不起眼”餐厅的分布图
另外，还有很多深度学习在城市研究中的应用，如用深度学习得到的环境评价指标对其周围房价的预测，深度学习检测图片中车辆的种类从而预测社区选票的偏向，深度学习预测街道计程车上下车的概率，深度学习评价城市建筑的艺术性和完整性，深度学习提取街道的天空可见指数、绿化带指数等。
深度学习所担任的角色？
从上面提到的案例可知，深度学习的分类、分割、检测、识别是主要的应用方式，如将图片根据场所、属性、内容分类；分割图片中的物体类别，得到每一物体类别面积占比；检测提取图片中具体物体（如车辆）用作后一步分析的输入；还有识别判别两张图片在研究内容上是否发生显著的变化等。
深度学习以其强大的学习能力和数据转化能力而被广泛用于研究中，在收集到足够量的数据前提下，将数据和输出的形式转化成深度学习模型的输入输出，并通过训练不断降低目标损失，我们就可以得到一个输入向输出数据转化的模型。
总的来说，深度学习担任了大数据挖掘分析、数据转化和生成的角色，我们可以通过深度学习拟合已知的训练数据，再而运用模型去计算未知输入的结果。深度学习可以为城市社会与自然景观研究提供新的数据处理分析方式和创新应用角度。以深度学习生成网络为例，先在生成器中输入建筑发生变化前的照片，再将生成器预测的变化后的照片和同一地点建筑变化后的照片输入到判别器中，判别器判别两幅图像的真伪，在损失可以降低的前提下，经过对抗训练直到判别器无法分辨生成图片的真伪，我们就可以得到一个建筑变化生成模型，可以应用到城市建筑变化预测或者建筑改造设计中。
部门简介：
国地研究院以自然资源管理改革、生态保护修复、土地政策和国土空间规划体制机制为主要研究方向，为政府及自然资源、农业农村、发改部门等提供具有前瞻性和可操作性的政策建议。
文中所提到研究和使用的图片均来自下面文献
1.曹越皓,杨培峰,龙瀛.基于深度学习的城市意象认知方法创新与拓展——以重庆主城区为例[J].中国园林,2019,35(12):90-95
2.曹越皓,龙瀛,杨培峰.基于网络照片数据的城市意象研究—以中国24个主要城市为例[J].规划师,2017(2):61-67.
3.Dubey,A.,Naik,N.,Parikh,D.,Raskar,R.,&Hidalgo,C.A.(2016).Deep learning the city: Quantifying urban perception at a global scale. European conference on computer vision (pp.196–212).Springer.
4.Zhang, F., Zhou, B., Liu, L., Liu, Y., Fung, H.H., Lin, H., Ratti, C., 2018. Measuring human perceptions of a large-scale urban region using machine learning. Landscape Urban Plan. 180, 148–160.
5.Zhou B, Liu L, Oliva A, et al.Antonio Torralba. Recognizing City Identity via Attribute Analysis of Geo-tagged Images[M]. Berlin:Springer International Publishing,2014.
6.Fan Zhang,Jinyan Zu,Mingyuan Hu,Di Zhu,Yuhao Kang,Song Gao,Yi Zhang,and Zhou Huang.Uncovering inconspicuous places using social media check-ins and street view images.Computers,Environment and Urban Systems,81:101478,2019
责任编辑：林冬娜、邓小云
文章作者：戴军文
文章审核：黄雯欣
图片来源：网络，版权归原作者所有
往期推荐研究
基于深度学习的建筑物识别及其在空间规划“三线”智能监管的应用研究
国地资讯聚焦国内外自然资源、城乡发展、生态环境行业，致力于宣传热点政策，分享新鲜资讯，展示研究成果。