学生视角 | 数据挖掘助力智慧城市建设
点击图片上方蓝色字体“慧天地”即可订阅
编者按:由中国石油大学(华东)万剑华教授主讲的《时空信息与智慧城市》课程已结课,学生们结合自己的兴趣点,通过查阅资料,积极思考,撰写了短文,陆续在【慧天地】“学生视角”栏目刊发。刊发这些短文的目的是鼓励在校大学生、研究生们不要拘泥于书本和课堂,要有独立思考的能力,写出自己的所思所想。尽管这些文章在专家们看来显得稚嫩,甚至或多或少存在一些问题,但考虑他们的身份是学生,还望以育人的初心对他们的文章进行批评指正,谢谢大家。【慧天地】也欢迎全国各高校的同学们向本栏目投稿(点击文末“阅读原文”查看投稿指南)。
智慧城市建设是当下的热点话题之一。智慧城市离不开海量数据的处理、分析和应用,例如无处不在的监控摄像头,以及汽车和智能手机的位置信息等。数据挖掘在大数据时代中应运而生,能够从大型数据库中抽取出未知的、有意义的关系、趋势、和模式,已经广泛应用在金融、医疗、电信、人工智能等领域。数据挖掘技术主要涉及关联规则、分类、聚类、偏差、序列模式等。⑴关联规则:关联规则是目前数据挖掘应用中运用最广泛的方法,主要是描述数据库中两个或多个对象之间存在的某种联系。⑵分类:分类是根据数据集的特性构造分类器,将样本对象划分到给定类别之中的方法。该过程分为两步,构造分类器和利用分类器对数据进行分类。分类是一种有监督学习,在分类之前就已经确定了划分的类别。⑶聚类:聚类是将大量数据分成若干组或簇,使得每个类之间的相似性最小,每个类中的数据相似性最大。聚类是一种非监督学习,要划分的类别是未知的。⑷偏差:在海量数据中会出现个别数据与其他数据之间存在很大误差,这类数据在处理时往往被舍弃,但是误差数据在某些特定问题分析上具有重要作用,被广泛应用到金融市场风险预测。(5)序列模式:序列是描述数据库中数据项之间存在的时间规律或者其他关系。序列模式与关联规则相比较,其重点考虑数据之间的时序关系。序列模式广泛应用在DNA序列分析,Web日志序列模式挖掘,自然灾害预测等。将数据挖掘技术应用于智慧城市的数据中心,对有价值、有意义的规律和知识进行提取,可以为城市的规划、建设和管理提供重要参考。
气象灾害预报
2021年5月14日,苏州市突发龙卷风,造成4死19伤,给人民群众的生命和财产安全带来了严重的影响。除了龙卷风以外,大雾、暴雨、暴雪和冰雹等极端天气事件也会影响城市居民的交通出行和户外活动,会对城市基础服务设施以及建筑造成严重破坏,经济损失极大,所以提高气象环境预警的准确性成为智慧城市建设的重点。因此,极端天气事件的预报对于城市的安全至关重要。现今气象观测卫星逐年增加,为天气预报提供了非常丰富的遥感数据。气象数据庞大,蕴含大量气象规律,传统预警方法在处理气象数据上显得力不从心,而基于数据挖掘技术的气象环境预警,大大提高了气象灾害预警时效性。Bartok等[1]介绍了数据挖掘对预测大雾和低云量的参数化模型以及运行预测模型、训练模型和挖掘数据所需的分布式气象数据的集成方法,能够高效预测天气变化。将数据挖掘技术应用于气象卫星的遥感数据,提高气象灾害预报的准确性和时效性,可以为智慧城市提供气象安全保障,为智慧交通奠定基础。
城市功能单元识别
利用手机定位、监控摄像头等数据可以对人群移动的规律进行统计和分析。而数据城市人群移动的时空规律反映了城市人口在时间和空间上的动态变化,隐含城市的功能分区,表征城市活动的动力学机制。城市功能区划分的目的是识别出工业、商业、住宅等不同的城市活动单元。传统上一般采用遥感影像识别的方法,这对于识别土地利用类型是比较有效的,但却无法识别出人类活动产生的功能单元,如职住区的区别等。轨迹隐藏着丰富的人群活动模式,不同城市功能区的人流变化模式不同[2],依据人群在特定空间上的活动强度和时空序列模式,通过聚类或者分类方法,能有效地识别出不同的活动单元。
城市规划
城市规划是智慧城市建设、管理与发展的重要依据,而智慧城市是一个多元化空间结构,故在构建城市结构、功能区域划分时,应当注重以人为本和环境保护,以建设服务型城市为根本。但是目前城市规划面临着老工业区迁入和划分、商业区与居住区的功能升级、城中村改造等问题。基于智慧城市的大数据,数据挖掘技术可以从中挖掘出城市变化规律与人们的生活规律、市场变化等,这对城市规划起着重要作用。针对城市建设规划问题,谢榕[3]提出基于数据仓库的城市规划决策支持系统的基本框架,为规划部门提供全局范围战略决策和有效分析提供支持。
智慧交通
近年来,乡镇人口不断涌入城市,导致城市人口持续增加,交通压力也随之加大,上下班的通勤成为居民最关心的问题之一。智慧交通是以GPS数据、客流数据、视频监控数据为基础,充分利用信息技术、传感技术、物联网技术等实现对交通管理、交通监控的应用,而智慧交通的引用成为减缓交通压力的重要措施,也使得智慧交通成为智慧城市建设的重要部分。但是智慧交通中的数据越来越庞大,面对交通管理中产生的海量数据,传统技术已无法从中获得有利信息,因此数据挖掘技术可以更好地应用到智慧交通中来。智慧交通以轨迹数据、客流数据、视频监控数据为基础,充分利用各类传感器和物联网实现交通管理、交通监控和交通预测等。轨迹数据特别是出租车轨迹,能直接反映城市 的交通状态,交通时间估算、交通异常探测。Chen等[4]使用轨迹数据进行的短时交通预测取得了较好的效果。智慧交通中冗余的数据量很大,传统技术已无法高效地从中获得有利信息,因此需要数据挖掘技术赋能智慧交通。
轨迹数据还可用于交通路线的优化与设计。出租车作为城市人群运移的重要工具,出租车司机对道路情况往往比较熟悉,他们的行车路线可被认为是两点之间的最优路径(经典路径),因此,可通过出租车轨迹的统计规律发现最快的行车路线。Yuan等[5]在T-Drive项目中根据出租车轨迹数据,解算出个性化的最快线路设计,不仅为每30 min驾车路程节约5 min时间,还可通过为不同用户选择不同的道路来缓解可能出现的拥堵。现有的交通时间估算和异常探测研究,是在历史数据集上截取不同的时间片段,开展模型与算法的测试与验证。尽管轨迹数据集体量巨大,但是,具体到单项研究可用的数据往往非常稀疏,导致交通时间估算特别是短时交通时间估算总体上不甚理想,而这是动态导航的基础。因此,下一步的研究应侧重于提高高速动态数据的获取、处理与分析的效率,实现动态导航路径的实时及面向个体的可视化表达,并进行合理的交通诱导,以提高现有路网的通行调配能力。
智慧旅游
人类移动行为预测,一直是行为地理学和时间地理学关注的热点。个体行为看似随机无序的背后具有高度的时空规律性,甚至推断出人类活动行为具有超过90%的可预测性,此后人类活动预测的相关研究陆续开展起来。轨迹中的锚点、出行范围和形状,体现着用户的活动区域、工作性质和生活模式等信息,在了解活动模式的基础上,可进行个体移动行为的预测并实现位置推荐。
出租车轨迹数据是研究人类活动模式的一个重要数据集,通过轨迹中上下客位置的密度分布与时间间隔,不仅能发现上下车的热点区域,还能发现人流的移动方向,从而分析人群的移动规律,进行社区结构的划分。手机数据也是重要的轨迹数据之一。不少学者基于手机轨迹数据对城市中个人的移动行为模式进行数据挖掘,例如,Phithakkitnukoon等[6]使用手机数据研究了日本的手机用户的旅行规律,Ahas等[7]通过手机数据研究了爱沙尼亚季节性旅游的游客活动模式。活动模式研究的直接应用,是进行移动行为的预测。从历史轨迹中推断出规律性的活动,然后依据人类活动的模式进行下一个位置的判断。
如今智能推荐在短视频、网上购物和新闻等方面的应用如火如荼,创造了非常大的经济价值。如果根据个人移动模式为游客提供旅游景点、就餐和休息场所的智能推荐,可以为来自外地的游客提供私人定制的个性化旅游路线推荐,减少游客查找和选择景点、酒店或者餐厅的负担,从而优化游客的旅行体验。
总结
如今我国城市化不断加强,人口持续向大城市集中。这为智慧城市的建设带来了更多的挑战,同时也凸显了智慧城市建设的必要性和急迫性。城市人口增长为智慧城市建设带来的挑战之一就是海量的数据需要处理和分析。以出租车数据、手机数据、志愿者数据等为代表的社会遥感数据,体现了人人都是传感器的理念,可以反映人类的社会活动。对这些城市数据进行挖掘,助力智慧城市建设,有望加快我国的智慧城市建设步伐,提高人民的生活质量和生活水平。
参考文献
[1] Bartok J, Habala O, Bednar P, et al. Data Mining and Integration for Predicting Significant Meteorological Phenomena[J]. Procedia Computer Science,2010.1:37-46.
[2] Pan G, Qi G, Wu Z, et al. Land-use classification using taxi GPS traces[J]. IEEE Transactions on Intelligent Transportation Systems, 2013,14(1):113-123.
[3] 谢榕.数据仓库及其在城市规划决策支持系统中的应用探 讨[J].武汉测绘科技大学学报,2000.25(2): 172-177.
[4] Chen B Y, Lam W H K, Li Q Q, et al. Shortest path finding problem in stochastic time- dependent road networks with stochastic first-in- first-out property[J]. IEEE Transactions on Intelligent Transportation Systems, 2013,14(4):1907-1917.
[5] Yuan J, Zheng Y, Zhang C, et al. T-Drive: Driving directions based on taxi trajectories[C]. Proceedings of the 18th SIGSPATIAL International Conference on Advances in Geographic Information Systems, 2010:99-108.
[6] Phithakkitnukoon S, Horanont T, Witayangkurn A, et al. Understanding tourist behavior using large- scale mobile sensing approach: A case study of mobile phone users in Japan[J]. Pervasive and Mobile Computing, 2015,18:18-39.
[7] Ahas R, Aasa A, Mark Ü, et al. Seasonal tourism spaces in Estonia: Case study with mobile positioning data[J]. Tourism Management, 2007,28(3):898-910.
● 作者简介
张源榆(1998-),硕士研究生在读,目前研究方向为时空数据挖掘,曾发表论文《基于卫星高光谱遥感影像的浅海水深反演方法》,Email:yuanyu_zhang@qq.com。
内容转载、商务活动、投稿等合作请联系
微信号:huitiandi321
邮箱:geomaticshtd@163.com
欢迎关注慧天地同名新浪微博:
ID:慧天地_geomaticser
学生视角 | 智慧城市时空信息云平台技术研究
学生视角 | 时空信息助力智慧校园建设
学生视角 | 时空大数据便利交通出行
《慧天地》敬告
《慧天地》公众号聚焦国内外时空信息科技前沿、行业发展动态、跨界融合趋势,探索企业核心竞争力,传播测绘地理信息文化,为测绘、地信、遥感等相关专业的同学提供日常学习、考研就业一站式服务,旨在打造政产学研用精准对接的平台。《慧天地》高度重视版权,对于原创、委托发布的稿件,会烦请作者、委托方亲自审核通过后才正式推发;对于来自网站、期刊、书籍、微博、微信公众号等媒介的稿件,会在作者栏或者文章开头显著标明出处,以表达对作者和推文引用平台版权的充分尊重和感谢;对于来源于网络作者不明的优质作品,转载时如出现侵权,请后台留言,我们会及时删除。感谢大家一直以来对《慧天地》的关注和支持!