1:100万的基础地理信息数据集处理方法
文章来源：锐多宝的地理空间
Part1背景
昨天官方发布了1:100万公众版基础地理信息数据集，但这个数据是分幅的，还需要做一下合并。
Part2处理流程
主要是使用python进行数据的预处理与合并。
Part3gdb转shp矢量
使用QGIS的OSGeo4W Shell软件，可以将gdb数据库导出为shp矢量。
ogr2ogr -f "ESRI Shapefile" F:\keshan\shp_get\I51 F:\keshan\shp100w\I51.gdb -lco ENCODING=UTF-8，
格式为:ogr2ogr -f +格式名称+保存路径+原始文件路径+编码方式
import os
from tqdm import tqdm
Path = 'F:\keshan\shp100w/'
folder_names = os.listdir(Path)
#脚本:参考ogr2ogr -f "ESRI Shapefile" F:\keshan\shp_get\2 F:\keshan\shp100w\A49.gdb -lco ENCODING=UTF-8
bat_part1="ogr2ogr -f \"ESRI Shapefile\" F:\keshan\shp_get\\"
bat_part2=" F:\keshan\shp100w\\"
bat_part3=" -lco ENCODING=UTF-8"
# 循环目录
for folder_name in tqdm(folder_names):
bat_text=bat_part1+folder_name.replace(".gdb","")+bat_part2+folder_name+bat_part3
print(bat_text)
通过上述脚本，批量生成导出shp的.bat内容。把这个内容打包成为.bat文件，输入start+.bat路径，运行文件
运行结果如下：
打开每一个文件，是分幅的矢量：
Part4shp矢量合并
使用脚本，遍历文件夹，将所有相同名称的矢量文件移动到相同文件内：
import os
import shutil
from tqdm import tqdm
#创建各地文件夹函数
def mkdir(path):
# 引入模块
# 去除首位空格
path = path.strip()
# 去除尾部 \ 符号
path = path.rstrip("\\")
# 判断路径是否存在
# 存在 True
# 不存在 False
isExists = os.path.exists(path)
# 判断结果
if not isExists:
# 如果不存在则创建目录
# 创建目录操作函数
os.makedirs(path)
print(path + ' 创建成功')
return True
else:
# 如果目录存在则不创建，并提示目录已存在
print(path + ' 目录已存在')
return False
Path = 'F:\keshan\shp_get/'
#保存的分类shp文件位置
Save_Fenlei= 'F:\keshan\shp_100w_fenlei/'
folder_names = os.listdir(Path)
# 循环目录
for folder_name in tqdm(folder_names):
floder_PATH = os.path.join(Path, folder_name)
file_names = os.listdir(floder_PATH)
for file_names in file_names:
#获取文件路径与名称
file_path =os.path.join(floder_PATH, file_names)
file_name=file_names.split(".")[0]
file_suffix = file_names.split(".")[1]
#移动文件到指定目录 将名称为file的文件复制到名为file_dir的文件夹中
dir_path = Save_Fenlei +file_name
# 创建文件夹 保存单个文件的文件夹
mkdir(dir_path)
#修改文件名
file_new_name = file_name.split(".")[0]+"_"+folder_name+"."+file_suffix
dst_name=os.path.join(dir_path, file_new_name)
# 将指定的文件file移动到file_dir的文件夹里面
shutil.copy(file_path, dst_name)
到此，我们获得了每个类别的shp矢量，加载到gis软件中进行查看。
现在要进行矢量的合并，首先我想到了arcgis和qgis手动操作。但是我比较懒，不喜欢重复操作，所以我写了一个脚本对每一个类别进行合并：
import os
import geopandas as gpd
import pandas as pd
from tqdm import tqdm
#分类得到的shp
Path = 'F:\keshan\shp_100w_fenlei/'
# 保存的合并文件位置
Save_shp = r'F:\keshan\100Wmerge\shp/'
Save_geojson = r'F:\keshan\100Wmerge\geojson/'
folder_names = os.listdir(Path)
# 循环目录
for folder_name in tqdm(folder_names):
try:
folder_name_path=os.path.join(Path, folder_name)
file = os.listdir(folder_name_path)
#遍历shp文件进行合并
path = [os.path.join(folder_name_path, i) for i in file if ".shp" in i]
gdf = gpd.GeoDataFrame(pd.concat([gpd.read_file(i) for i in path],
ignore_index=True), crs=gpd.read_file(path[0]).crs)
#导出shp
gdf_path_name_shp =Save_shp+folder_name+".shp"
gdf.to_file(gdf_path_name_shp, driver="ESRI Shapefile", encoding="utf-8")
#导出geojson
gdf_path_name_json =Save_geojson+folder_name+".gson"
gdf.to_file(gdf_path_name_json, driver='GeoJSON', encoding="utf-8")
except:
pass
通过这个步骤，ANNP这个全国矢量就merge好了，放到gis软件中查看：
由此，我们得到了shp和geojson两种格式的1：100w的全国地理基础信息数据：
这里为什么会单独再导出一个geojson的文件，是因为我自己的偏见：gson比shp好用，qgis比arcgis好使。
Part5其他
至此，数据已经转化完毕，可以直接使用。该数据的类型如下：
数据很丰富，可以看看：
我在遥感论坛上看到有一个人发帖，大家可以去下载这个合并版的数据：
注意:提供下载的是矢量数据，不是最终地图，与符号化后的地图再可视化表达上存在一定差异。用户利用此数据编制地图，应当严格执行《地图管理条例》有关规定；编制的地图如需向社会公开的，还应当依法履行地图审核程序。
Part6参考
全国地理信息资源目录服务系统.https://www.webmap.cn/main.do?method=index
Geodata地理数据研究所.2021版全国1：100万公众版基础地理信息数据
| 大气环境精品视频课程推荐（即买即看） | ||
|---|---|---|
| 1 | 录播 | 全套区域高精度地学模拟-WRF气象建模、多案例应用与精美制图课程 |
| 2 | 录播 | SMOKE模型排放清单处理技术及在多模式下实践应用方法与VOCs排放量核算视频 |
| 3 | 录播 | 空气质量预报模式系统（wrf-cmaq）改进与污染源排放清单视频课程 |
| 4 | 录播 | 气候水文耦合 WRF-Hydro 模式应用在线直播视频课程 |
| 5 | 录播 | 区域气象-大气化学在线耦合模式（WRF/Chem）视频课程 |
| 6 | 录播 | CLM 陆面过程模式实践技术应用视频课程 |
| 7 | 录播 | NCL 数据分析与处理实践应用视频课程 |
| 8 | 录播 | 大气颗粒物PMF源解析实践技术应用视频课程 |
| 9 | 录播 | EKMA曲线及大气O3来源解析视频教程 |
| 10 | 录播 | WRF DA资料同化系统理论、运行与与变分、混合同化新方法技术应用 |
| 11 | 录播 | R语言在气象、水文中数据处理及结果分析、绘图实践技术应用视频 |
| 12 | 录播 | 基于python语言气象水文数据处理及精美科研绘图实践技术视频课程 |
| 13 | 录播 | 如何使用格点数据分析中国霜冻灾害变化技术专题 |
| 14 | 录播 | 基于MATLAB野外观测站生态气象数据处理分析实践应用精品课程 |
| 15 | 录播 | 基于CALMET诊断模型的高时空分辨率精细化风场模拟技术专题课程 |
| 16 | 录播 | 如何使用格点数据分析中国积温变化技术视频课程 |
| 17 | 录播 | 基于CAMx的空气质量模拟及污染来源解析技术与案例分析精品视频 |
| 18 | 录播 | FVCOM流域、海洋水环境数值模拟方法及实践技术应用视频教程 |
| 19 | 录播 | 全套Python机器学习核心技术与案例分析实践应用视频课程 |
| 20 | 录播 | 基于python深度学习遥感影像地物分类与目标识别、分割实践技术应用 |
| 21 | 录播 | 基于Python实现的深度学习技术在水文水质领域应用精品课程 |
| 22 | 录播 | 基于PyTorch深度学习实践技术应用精品课程 |
| 23 | 直播 | FVCOM溢油及物质输运数值模拟实践技术应用培训 |
| 24 | 直播 | Python网络爬虫在农业气象大数据方面的应用培训 |
视频教程+课件资料及数据代码+导师随行辅导 联系课程专员，最高享受7.5折优惠 |
| 精品视频课程推荐（即买即看） | ||
|---|---|---|
| 1 | 录播 | 基于R语言结构方程模型分析与实践技术应用视频课 |
| 2 | 录播 | MATLAB深度学习工具箱全面解析实践视频课程 |
| 3 | 录播 | 基于R语言的贝叶斯网络模型的实践技术应用视频课 |
| 4 | 录播 | 基于R语言Meta分析方法与进阶实践应用视频课程 |
| 5 | 录播 | 基于R语言的Copula变量相关性分析及应用视频课 |
| 6 | 录播 | 基于R语言的极值统计学及其在相关领域中的应用 |
| 7 | 录播 | R语言回归及混合效应（多水平/层次/嵌套）模型应用及贝叶斯视频 |
| 8 | 录播 | HEC-RAS一维、二维建模方法及实践技术应用精品视频课程 |
| 9 | 录播 | 涉河建设项目防洪评价报告编制技术实践应用精品课程 |
| 10 | 录播 | SWMM复杂城市排水系统模型及排水防涝、海绵城市设计等工程实践应用视频课程 |
| 11 | 录播 | SWMM排水管网水力、水质建模及在海绵与水环境中的应用视频 |
| 12 | 录播 | SWAT模型在水文水资源、面源污染模拟中的实践技术应用及典型案例分析专题视频课程 |
| 13 | 录播 | 基于ArcGIS水文分析、HEC-RAS模拟技术在洪水危险性及风险评估视频 |
| 14 | 录播 | HYPE分布式水文模型建模方法与案例分析实践技术应用精品课程 |
| 15 | 录播 | 最新全套GMS地下水数值模拟技术与实际项目应用精品课程 |
| 16 | 录播 | 基于DEM的水文分析专题课程 |
| 17 | 录播 | Delft3D建模、水动力模拟方法及在地表水环境影响评价中的应用 |
| 18 | 录播 | FVCOM流域、海洋水环境数值模拟方法及实践技术应用 |
| 19 | 录播 | Delft3D水动力－富营养化模型实践技术高级应用精品课程 |
| 20 | 录播 | 全套环境土壤物理Hydrus1D2D3D模型实践技术应用精品课程 |
| 21 | 录播 | 地下水数值模拟软件Visual modflow Flex实践技术应用精品课程 |
| 22 | 录播 | ArcGIS在水土流失模拟及分析中的实践技术应用培训班 |
| 23 | 录播 | 地下水数值模拟软件Visual modflow Flex实践技术应用精品课程 |
| 24 | 录播 | 地下水环评（一级）实践技术及Modflow地下水数值模拟视频课程 |
| 25 | 录播 | AQUATOX水环境与水生态模型实践技术应用视频课程 |
| 26 | 录播 | HYPE分布式水文模型建模方法与案例分析实践技术应用精品课程 |
视频教程+课件资料及数据代码+导师随行辅导 联系课程专员，最高享受7.5折优惠 |
| 生态、遥感精品视频课程推荐（即买即看） | ||
|---|---|---|
| 1 | 录播 | 土地利用/土地覆盖遥感解译与基于CLUE模型未来变化情景预测技术应用 |
| 2 | 录播 | MAXENT模型生物多样性生境模拟与保护优先区甄选、保护区布局优化评估实践技术应用及论文写作 |
| 3 | 录播 | InVEST模型高级进阶及在生态系统服务供需、碳中和等领域中的应用及论文写作技能提升精品课程 |
| 4 | 录播 | 基于GIS探究环境和生态因子对水体、土壤、大气污染物的影响 |
| 5 | 录播 | 【SWH】陆地生态系统蒸散模拟理论、蒸散估算、站点及区域尺度模拟 |
| 6 | 录播 | 利用ArcGIS完成基于土地利用量化人类活动的分析及模型构建 |
| 7 | 录播 | 基于ArcGIS污染物浓度及风险的时空分布实践技术应用视频课 |
| 8 | 录播 | ArcGIS应用实战专题课程 |
| 9 | 录播 | R-GIS: 如何用R语言实现GIS地理空间分析及模型预测实践技术应用 |
| 10 | 录播 | GIS数据制备，空间分析与高级建模实践技术应用课程 |
| 11 | 录播 | 无人机生态环境监测、图像处理与GIS数据分析综合技术应用视频 |
| 12 | 录播 | 城市/农村用地适宜性评价专题课程 |
| 13 | 录播 | 陆面生态水文模拟与多源遥感数据同化的实践技术应用精品课程 |
| 14 | 录播 | 基于PyTorch深度学习无人机遥感影像目标检测、地物分类及语义分割实践技术应用 |
| 15 | 录播 | PROSAIL模型前向模拟与植被参数遥感提取代码实现课程 |
| 16 | 录播 | 植被参数遥感反演与数据同化实践技术应用视频课程 |
| 17 | 录播 | 遥感影像信息提取与案例分析实践技术应用专题课程 |
| 18 | 录播 | 长时间序列遥感数据分析与代码实现技术应用 |
| 19 | 录播 | 无人机遥感在农林信息提取中的实现方法与GIS融合应用高级课程 |
| 20 | 录播 | 无人机遥感图像拼接及处理实践技术专题课程 |
| 21 | 录播 | 无人机支持下的自然灾害风险评估技术应用精品课程 |
| 22 | 录播 | 高光谱遥感数值建模技术及在植被、水体、土壤信息提取领 |
| 23 | 录播 | Biome-BGC生态系统模型建模方法与实践技术应用视频课程 |
| 24 | 录播 | R语言与作物模型（以DSSAT模型为例）融合应用高级实战技术 |
| 25 | 录播 | Meta分析在生态环境领域中的实践技术应用精品视频课程 |
| 26 | 录播 | “R语言+遥感”的水环境综合评价方法实践技术应用精品课程 |
视频教程+课件资料及数据代码+导师随行辅导 联系课程专员，最高享受7.5折优惠 |
添加小编微信，海量数据、视频教程免费获取
海量数据免费获取
+
Ai尚研修海量资源（数据、课件、书籍、视频教程）一键免费领取
（点击数据标题，直接进入）
10、【数据分享】中国2000-2010年NPP数据集11、【数据分享】2015年30m土地覆盖数据
12、【数据分享】中国100万植被类型空间分布数据13、【数据分享】更新！31个省级统计年鉴合集（12省更新至2020） 免费下载！14、【数据分享】1982年-2015年全球逐年长时序动态土地覆盖数据产品（GLASS-GLC）15、【数据分享】全网最全！34个省（市、自治区）2001-2020年统计年鉴（免费）16、好资料-百篇高光谱领域的论文，已经帮您整理收集完了，快放进自己文件夹中！！17、【数据分享】中国自然地理分区数据集（包含农业自然、农业熟制、九大农业区划，九大流域片、八大森林工程、生态功能保护区等数据）18、【数据分享】1979-2020年长时间序列遥感降水数据19、【数据分享】碳排放数据地方清单excel表格，分省、市、县（区）免费获取20、【数据资源】最新最全！市级国土空间总体规划制图规范GIS符号库（2021新版
气数据
土地利用数据1、【数据分享】2020年中国土地利用遥感监测数据丨免费下载！2、【数据分享】中国土地利用数据1980-2015 （免费获取）3、【数据分享】土地利用（覆盖）数据下载汇总4、【数据分享】世界土壤数据库（HWSD）全球土壤数据下载处理5、【数据分享】15省《中国土壤分布》土壤分布矢量数据，含使用说明6、【数据分享】中国农田熟制遥感监测数据集7、【数据分享】中国分省、市、县的地形起伏度数据
水文领域数据1、【数据分享】基于DEM提取的中国流域、河网数据免费下载2、【数据分享】中国水系数据，包含长江黄河、湖泊、以及一级三级四级五级河流矢量数据3、【最好用的水文实例计算含过程】水利工程实用水文水利计算
4、【数据分享】中国九大流域矢量数据及2019版最新流域水系（免费下载）
5、【数据分享】全国电子地图SHP数据快来领取啦！（包括道路、水系、银行、绿地、高速出入口、医疗机构、餐饮、超市等信息。）
6、【数据分享】分省份水系数据7、【数据分享】2000～2019 年中国各省、市、区县分年、分月、逐日平均降水量数据8、【数据分享】6G超大超级详细矢量数据，来源于国内某地图导航基底数据
年鉴类数据1、【数据分享】1984-2018中国教育统计年鉴（全部EXCEL格式）免费下载！2、【数据分享】国土资源统计年鉴2005-2017&中国林业统计年鉴1992-20193、【数据分享】一个横跨35年的数据，1985-2019中国城市统计年鉴4、【数据分享】28年《中国工业统计年鉴》免费下载5、【数据分享】最新中国县域统计年鉴（2000-2019年）来了！EXCEL+PDF版本全部免费下载6、【数据分享】中国农业统计资料1949-2019，免费下载 ！7、【数据分享】全Excel！中国科技统计年鉴1991-2019（免费）8、【数据分享】全网最全、最新的林业统计年鉴（1996-2019）免费下载9、【数据分享】中国环境统计年鉴：1998-2018（免费）10、【数据分享】《中国文化和旅游统计年鉴》又是一个24年的统计年鉴集合11、【数据分享】最新EXCEL中国统计年鉴2020+经管教材16本+python学习资源（免费）12、【数据分享】国际统计年鉴1995-2019（免费)13、【数据分享】中国海洋统计年鉴2000-2017（免费）14、【数据分享】2000-2020《中国港口年鉴》免费下载
经济类数据1、【数据分享】中国及省级市场化总指数及方面指数：08-192、【数据分享】400万！人口迁徙大数据2019-20203、【数据分享】110+指标！城市面板2003-2018&地形起伏数据集（免费获取）
4、【数据分享】289个城市教育与卫生常有指标面板数据（1996-2020）
部分数据展示，关注Ai尚研修技术平台公众号，更多数据资源轻松下载！
超级会员专享
如何成为超级会员：
1.凡参加Ai尚研修收费课程即为超级会员
1.充值3500元即为Ai尚研修超级会员；
超级会员特权：
1.参加直播与现场课程专享400元会员优惠，同时成为Ai尚研修推广大使，推荐参会分享收益。
2.购买Ai尚研修平台导师视频课程（含导师随行长期指导），享受8.5折优惠。
3.免费享受Ai尚研修会议平台中会员专享下视频课程。
4.长期免费参与每月4期针对地学领域简学实用公开课（优先、无门槛）
5.免费参与任何一门课程开设的导师面对面线上答疑交流。
6.Ai尚研修资源站分享中数据免费下载；
7.会员既成为Ai尚研修合作伙伴，可以进行技术文章、视频教程投稿，分享收益红利，同时所在单位可以通过Ai尚研修新媒体平台进行合作及招聘推广。
扫描咨询
END
Ai尚研修丨专注科研领域
技术推广，人才招聘推荐，科研活动服务
科研技术云导师，Easy Scientific Research