查看原文
其他

应用大数据技术,实现不动产登记数据高效信息化管理

超图集团 2020-09-15


2015年初,国土资源部(现“自然资源部”)信息中心启动不动产登记信息管理基础平台建设,形成了信息平台建设总体方案和相关标准、规范,并建设完成了不动产存量入库系统、接入系统、共享服务系统等八大系统。截至2018年底,全国所有区县信息平台已全部接入国家平台,80%以上区县的存量数据完成整合汇交,国家级不动产登记数据库基本建立。囊括属性数据近3亿、权利数据近5亿、空间数据宗地数约3000万,自然幢数据近4000万, 并以30万条/天的日常接入量实时动态更新。


面对如此庞大的数据库,如何利用大数据思维进行数据整合分析和数据联动,资源合理调配,从而实现不动产登记数据的高效信息化管理,是不动产工作管理的重点和难点。


在此背景下,北京超图软件股份有限公司紧抓大数据建设在不动产登记领域的应用,以不动产数据为核心,通过数据汇交、数据融合、数据入库和数据更新四个方面构建不动产大数据体系,提取“人、地、房”三个层面的信息,构建结构化、具有时空特征的不动产大数据集合,建立健全不动产登记信息共享服务机制,最终实现不动产登记机构与公安、民政、财政、税务、工商、金融、审计、统计等部门的信息共享交换。拥抱大数据,应用大数据技术,实现不动产登记数据高效信息化管理,建立不动产登记空间数据库管理系统和不动产登记信息共享服务系统,正是其中的两项实践成果。


不动产登记空间数据库管理系统,空间大数据引擎调动亿万级数据


随着全国各地不动产登记信息平台进一步完善和存量数据汇交工作的全面开展,不动产登记信息管理基础平台基础库出现爆发式增长,对国家不动产登记信息基础平台的数据存储、组织和接入质检提出了新的要求。另外各地不动产的空间数据在坐标系方面无统一标准,且差异化较大,空间数据无法叠加到一起进行管理,这给国家级的空间数据应用也带来巨大挑战。


1.数据更新频繁,地图缓存已无法满足需求


要达到地图的快速显示,采用地图缓存是最常用的方法。但是,由于全国不动产登记数据更新量大(每天约30万条数据),且无地域和时间规律,每一分甚至每一秒数据都有可能更新,且更新地点可能是全国的任何地方。显然,采用地图缓存的方式无法保证数据更新后地图同步更新。


2.数据量巨大,传统GIS技术难以应对亿级面数据的显示、查询


在全国不动产存量数据全部汇交后,单个数据集的最大面对象数将达到亿级,传统的GIS技术很难应付如此规模的数据量,地图显示已面临很大困难,查询、分析、热力图绘制等更无从谈起。


为解决以上难题,超图提出了分、合相结合的方式进行空间数据的管理,“分”是以原始数据汇交格式独立存储,“合”是将全国数据统一转换到国家大地2000坐标系下进行统一的显示、查询等应用。


建设不动产空间数据库管理系统,采用B/S架构(如图1所示),利用SuperMap iServer 9D发布服务,前端用SuperMap iClient 9D for Leaflet进行页面展示。对于宗地、自然幢等矢量数据存储,利用非关系型分布式存储数据库技术MongoDB进行数据存储,基于SuperMap GIS 9D版本的空间大数据引擎来实现对矢量数据分布式存储和访问管理。通过优化数据组织和存储结构,解决任意查询检索应用的性能问题;充分运用大数据技术,发挥关系型数据库与大数据技术各自的优势,紧密集成,提高平台运行效率;开展数据的同步检查,在国家数据库中实现地方上交的存量数据与增量数据的同步与一致;构建开放式的分布式数据库,实现不动产登记数据规模化实时接入和运行监管。


图1 技术架构图


本项目共采用了5台服务器来搭建MongoDB数据库集群服务。经测试,在不切地图缓存的情形下,在自然幢数据达到亿级、宗地数达到3千万、数据实时更新状态下,地图在1:10000左右显示比例尺时,刷新一屏数据所需时间为2.8秒,不动产坐落精确查询响应时间为2秒以内。另外将点数据存储在ElasticSearch库中,并在前台采用SuperMap GIS 9D进行热力图的绘制,在亿级数据量情况下,响应速度为2秒左右。


不动产登记信息共享服务系统,信息共享交换安全通道


不动产登记信息共享服务系统是实现不动产登记信息全国总归户,完成自然资源部与其他部委级机构“总对总”连接,与最高法、公安部、民政部、税务总局、司法部、银保监会、国家监委等部门之间信息共享交换的通道。例如,今年开始的个税改革政策,大家在个人所得税APP中提交的房产和租房相关信息的验证工作,就是通过国家税务总局与自然资源部之间的共享系统数据交换通道进行的。又如,法院或监委等司法机关,在案件办理过程中查询某人在全国范围内的不动产情况,也是通过共享系统获取数据。


不动产登记信息共享库是全国不动产登记基础数据库的子集,利用自动化数据抽取、转换、关联技术,实时或定时进行数据提取、转换(业务架构如图2所示)。不动产登记信息共享库与全国不动产登记基础数据库保持同步更新。


图2 业务架构图


不动产登记信息共享服务系统主要特征有以下3点:


1.数据量大,全文索引技术效应对高频次查询


共享库中包含了不动产单元、权利、权利人等中主要的信息,数据量约5亿条左右,日更新量30万条左右,日平均查询量约为10万次,日高峰期约300万次,查询的时间主要集中在白天工作时间,查询量按白天8小时平均分配算,每秒的查询量约为15次。为应对共享系统和数据库数据量大、查询频次高等诸多困难,共享库基于分布式全文索引技术ElasticSearch搭建集群(如图3所示),实现单条查询时间控制在0.2秒左右。


图3 系统架构图


 2.应用场景千万条,全自动操作保证安全第一条


共享库虽然部署在自然资源部内网,由于数据本身的敏感性,及某些数据查询应用的机密性,数据安全方面的问题同样不可忽视。共享库的数据从入库、更新,及查询应用等实现全程全自动无人工干预,且数据全程都处于密文存储、密文交换的安全环境中。从技术上杜绝某些个人试图利用系统来获取敏感数据,或获取敏感机构针对特定人员的查询行为。


 3.网络隔离,数据报文实现信息高效共享


目前最高法、税务总局、国家监委、公安部等共享部门通过拉专线实现与自然资源部网络互联。但由于专线连接的仍然是自然资源部的业务网,而共享库和共享系统部署在内网,业务网和内网之间是物理隔离,无法直接连接,也就无法采用接口的模式进行数据交换。为实现不动产登记数据共享,共享系统采用数据报文的方式,通过业务网与内网间的双向网闸来自动摆渡完成查询请求报文和查询结果报文实现信息高效共享(如图4所示)。


图4 数据交换图


在当今电子化、数字化、信息化高速发展的世界,数据资源不仅体现了事务发展的趋势,还可为政府各方面决策提供有利依据,但由于各部门之间的壁垒,使得数据资源共享应用及综合分析并不方便,如今在不动产登记工作的良好契机下,基于大数据,建设统一坐标系下不动产空间数据库管理系统,并保持不动产登记信息共享库与全国不动产登记基础数据库同步更新,促进相关部门之间的数据资源在一定范围内的共享互通。


作者 | 资源西安工程中心 李堃 闫洁茹 隋盼盼


【近期回顾】


 01 大数据GIS赋能公安“超脑”

 02 十大最佳深度学习框架

 03 《空间三维模型数据格式》团体标准发布

 04 苏乐平:规划信息化牛人30年的反转人生

 05 《SuperMap三维管线技术白皮书》发布!


欢迎转载~


爱看你就点在看!

    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存