查看原文
其他

一键获取历史行政区数据,就是这么简单!

文刀木公 数据处理与分析 2022-07-17

数据介绍

今天要分享的数据是历史行政区划数据,数据来自于加利福尼亚大学伯克利分校。数据的具体内容为1949年至2014年的中国行政区划数据,分为省、市、区县三级。对科研人员来说,是不可多得的好数据。经过整理,现在数据已经全部梳理好了,现在将方法和数据分享给各位读者。

本文数据、模板获取方式,文末可见。

这份数据的链接之前看到过小猿猴分享过:【直接下载】1949-2014全国县级区划shp

今天咱们来试一试用fme来批量获取它。

获取数据

在正式开始之前,先来介绍一下获取数据的思路。

1.首先是要找到下载链接

在这个步骤,不仅要找到网页,也要对网页做好分析,理解数据的存储方式。后续能不能正确的获取到这些数据,就依赖于对这些内容的理解。

2.打开FME

在这次行政区划数据的获取工具,我选择了FME。所以在分析过网页之后,就打开FME写模板,获取数据吧!

只需要做到以上两个步骤,就可以获取任何你想获取的公开数据。无论是科研还是做商业项目,有了这种搜集数据的技术,一定可以让你如虎添翼!

分析网页

图1

打开网页,输入关键词之后可以看到弹出了很多的标签,标签的标题是一个个图层的名称。点击图1中的标签,可以看到图2所示的图层详情界面。

图2

在图2所示的详情页面中可以看到有Web services的选项。

图3

点击Web services选项,发现如图3所示的特点:WFS typeNames与鼠标悬停在标签上的链接末尾部分是一致的。划重点:typeName与图层名称超链接的末尾部分相等!

图4

根据页面的geoserver地址,在如图4所示的预览页面进行搜索,可以看到确实有这个图层存在。熟悉geoserver的朋友都知道,根据这个图层名就可以下载相应的数据。根据页面图层名-关键字-geoserver图层名之间的这种特点,我梳理了图1所示的数据项中的标签文本与其超链接中的图层名,整理了如图5所示的表格:

图5

以上为样例表格,全量数据共198条。根据这个表格,就可以获取全量的数据。

整理的过程也是用FME完成的,不过这不是本文的重点,就不多做介绍了。需要的这个全量表格数据的朋友可以在后台直接回复文末关键字。

开始获取

相比前面对于网页的一些分析,数据的获取就容易多了。Geoserver数据的获取有多种方式,可以直接下载shp压缩包、也可以下载kml、gml等格式。针对今天分享的这个数据,我测试了一下下载shp压缩包,发现下载的数据shp数据会出现乱码的现象,而geojson格式不会出现这种状况。所以我决定使用geojson的方式来获取数据。

FME对geojson的支持非常好,无论是本地的文件类型数据,还是在线的数据,都可以很好的支持。使用FME获取数据也分厂简单,按照如下步骤即可:首先打开FME,读取整理好的Excel,再根据typeName字段的值进行数据的获取,最后写出数据。反映到如图6所示的模板上,除了读写模块,只需要五个转换器即可!非常的精简(如果数据规范的话,只要一个reader就行了,会更精简)!

图6

数据读取

数据的读取非常简单,按照默认参数直接读取即可。

数据获取

数据的获取这里使用的是FeatureReader转换器,具体参数设置如图7所示:

图7

数据写出

数据写出有一点需要注意,就是我们需要用featureTypeName字段作为写出的图层名称。如图8所示,这里用了扇出。

图8

根据数据的结构,将写出数据的图层各字段定义成如图9所示的类型。

图9

总结

本文通过对历史行政区划数据的采集,展示了数据获取的一般做法。通过本文的内容,大家也可以看到使用FME来获取数据是多么的简单。稍微有点FME的基础,按照本文所述内容获取这些数据基本上是没有什么难度的。如果没有基础也没问题,我自己也有FME的相关课程,感兴趣的话可以看下面的往期推荐,也可以后台发送关键字“教程”。希望大家都能掌握这种实用的技术!


资料及模板获取方式

后台发送关键字:xzqh

图1地址:https://geodata.lib.berkeley.edu/?f%5Bdc_format_s%5D%5B%5D=Shapefile&f%5Bdct_isPartOf_sm%5D%5B%5D=Administrative+Boundary+Maps+of+China%2C+1949-2014&per_page=100&q=boundaries

往期推荐

【汉化版】用这个软件,谷歌影像随便下!不要钱!!!

【工具分享】今天分享一个工具吧

正则表达式课程及优惠领取

FME基础课程-完整版

【数据分享】中国生态功能区数据

【数据分享】中国自然保护区数据

【数据分享】省市区政府驻地数据



您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存