数据处理与分析

其他

还在用天地图?试试这个免费又好用的国产在线图源(附真实评测)

数据,是GIS的血液,是GIS的灵魂。没有数据,再好的系统也是无本之木。以往想要获取数据,可供选择的就是百度、高德以及天地图等平台。但是现在,我们可以有多一个选择了,它就是星图地球数据云!今天,我从注册开始,一步一步跟大家介绍一下,怎么使用星图地球数据云以及怎么从上面获取各类数据。注册及开发者认证星图地球数据云的注册方式非常简单,可以使用手机号直接登录,也可以使用微信扫码的方式登录认证也很简单,目前提供个人和企业认证通道,认证过程非常的迅速,即时返回认证结果。建议大家开通【企业认证】,每天可以使用500万次数据调用额度在线体验以在线体验页面为例。基本上所有的数据都可以在这个页面上进行预览体验。体验平台上有很多的图层,其中影像图层、矢量、地形图层可以在右下角进行切换。星图地球数据云也支持三维白模,在视图切换为三维的时候,就可以对白模图层进行开关。跟高德百度的区域加载策略不同,星图地球数据云目前白模加载方式是全量加载。经小编实测,白模加载的速度还是比较快的。三维白模图层星图地球数据云的影像图层更新快,时效性新!如上海外滩附近的影像,数据时效性是21年4月份,可以说是非常新了。除此之外,影像的分辨率也很高。星图地球数据云的影像都是亚米级的,分辨率普遍达到0.8米,重点城市的分辨率达到了0.5米。对于一般用户来说,完全够用,地物都能分辨的清清楚楚了。经小编实测,星图地球数据云的影像比国内一些互联网电子地图的影像更新、更细!小编找了一处建筑工地,分别使用星图和百度地图的影像图层查看,可以看到星图地球数据云的影像在放大的时候还可以显示更多的细节,而百度的影像在放大的过程中却没什么变化。地图API地图API是通过HTTPS
2022年10月13日
其他

一键获取历史行政区数据,就是这么简单!

数据介绍今天要分享的数据是历史行政区划数据,数据来自于加利福尼亚大学伯克利分校。数据的具体内容为1949年至2014年的中国行政区划数据,分为省、市、区县三级。对科研人员来说,是不可多得的好数据。经过整理,现在数据已经全部梳理好了,现在将方法和数据分享给各位读者。本文数据、模板获取方式,文末可见。这份数据的链接之前看到过小猿猴分享过:【直接下载】1949-2014全国县级区划shp今天咱们来试一试用fme来批量获取它。获取数据在正式开始之前,先来介绍一下获取数据的思路。1.首先是要找到下载链接在这个步骤,不仅要找到网页,也要对网页做好分析,理解数据的存储方式。后续能不能正确的获取到这些数据,就依赖于对这些内容的理解。2.打开FME在这次行政区划数据的获取工具,我选择了FME。所以在分析过网页之后,就打开FME写模板,获取数据吧!只需要做到以上两个步骤,就可以获取任何你想获取的公开数据。无论是科研还是做商业项目,有了这种搜集数据的技术,一定可以让你如虎添翼!分析网页图1打开网页,输入关键词之后可以看到弹出了很多的标签,标签的标题是一个个图层的名称。点击图1中的标签,可以看到图2所示的图层详情界面。图2在图2所示的详情页面中可以看到有Web
2022年3月6日
其他

【汉化版】用这个软件,谷歌影像随便下!不要钱!!!

今天要分享的这个软件,可以下载常用的影像、互联网电子地图瓦片等栅格类型的数据。软件获取方式,文末可见!致谢感谢浩哥提供了谷歌影像的图源;感谢公众号读者轩凯(网名),提供了汉化包的来源;感谢网友地质记忆(网名),制作了汉化包。软件介绍git主页:https://github.com/sasgis软件主页:http://www.sasgis.org友情提示:这个软件是俄罗斯大佬开发的,网站也是俄文,看的时候可以开个网页翻译。软件图源:http://parasite.kicks-ass.org:3000/sasgis/maps/src/branch/master软件图源的链接里面放的是一些官方贴出的各种图层,有影像,也有在线的电子地图,不过这些一般都是国外常用的。今天分享的安装包里的图源,是我整理过的。删除了一些无用的国外图源,增加了一些国内常用的图源。还加上了汉化包!软件介绍使用SASPlanet可以下载任何其支持的图源中的栅格数据,比如常用的谷歌影像(暂时没找到无水印的谷歌影像图源。后面如果有的话,我会更新替换安装包再分享)。软件安装软件是绿色版,直接下载解压我分享的压缩包,找到SASPlanet.exe,双击后即可使用。汉化切换底图切换叠加层下载影像总的来讲:影像的下载分为这么几个步骤:1、设置要下载的图层(底图和要叠加的图层);2、绘制下载范围;3、点击开始下载(这里需要观察绘制范围内的瓦片是否全部下载完成,稳妥点可以下载完成后再点击一下开始下载);4、导出数据。上面的视频以谷歌影像为例演示了怎么下载,感兴趣的用户也可以下载类似百度、高德等电子地图的的瓦片数据。其他功能这软件还有一些其他的功能,如距离量测、添加标注什么的,功能很丰富。感兴趣的朋友可以探索一番。本软件(汉化版)无套路分享软件获取方式后台发送关键字:sas.planet往期推荐【就业咨询】回读者来信【招聘信息】高薪职位来了【工具分享】今天分享一个工具吧正则表达式课程及优惠领取FME基础课程-完整版【数据分享】中国生态功能区数据【数据分享】中国自然保护区数据【数据分享】省市区政府驻地数据
2022年2月25日
其他

【就业咨询】回读者来信

最近有一位读者来信,来咨询就业方面的事情。对就业方面的信息,我了解有限,所以找了相关的朋友咨询。现将来信与咨询的信息整理后回复如下!读者来信您好,我是“数据与分析”公众号的读者,我想咨询您一些未来就业方向上的一些问题,谢谢!我现在是一名农业工程与信息技术专业的学生,6月份即将硕士毕业。我熟悉ArcGIS的一般操作,参加过“第三次全国国土调查耕地资源质量分类”项目;熟悉C语言、Java、Python;熟悉基于ArcGIS的Python脚本编程;研究方向是基于机器学习的耕地质量评价方法研究(使用MATLAB的分类学习器),并在此基础上开发了一个小的MATLAB
2022年2月16日
其他

【招聘信息】高薪职位来了

首先祝大家元宵节快乐!最近有朋友公司招人,如果有意向的话,可以发简历到下面的邮箱!企业简介广东恒正(集团)创立于2001年,经过近二十年的积累与沉淀,已发展成为一家集房地产评估、自然资源评价利用、空间规划、测绘、地理信息、软件开发产业为一体的自然资源全链条、综合性技术服务机构,所提供的技术服务涵盖自然资源管理领域的全部环节。集团旗下现有广东恒正土地房地产资产评估有限公司、广东经纬土地勘测规划科技有限公司和广州国土空间发展研究中心,公司总部位于广东省惠州市,并在广东省内设立了9家分公司和办事处,业务分布于广州市、惠州市、揭阳市、梅州市等多个地市。广东恒正致力应用信息化等科技手段、融合评估、规划、国土、测绘、信息等多领域跨学科技术资源优势,为政府、公众等提供全方位、综合性、前瞻性国土资源科技服务,赋能自然资源资产管理。广东恒正土地房地产资产评估有限公司成立于2001年,具备A级土地评估、一级房地产评估、资产评估资质,是一家专业从事自然资源资产评估、评价利用等技术服务机构。广东经纬土地勘测规划科技有限公司成立于2005年,具备甲级测绘资质、乙级土地规划资质,是一家专业从事自然资源调查、测绘、国土规划、地理信息、档案整理等国土技术服务机构。广东经纬国土空间发展研究中心成立于2019年。致力于贯通集团测绘与地理信息业务、规划业务、土地与房地产评估业务,助力集团逐步形成自然资源管理全链条服务提供商。招聘信息招聘部门广东经纬土地勘测规划科技有限公司数据处理部门招聘岗位GIS数据工程师工作地点广东省-惠州市-惠城区薪资待遇10-20k(老板说,优秀人才待遇不设上限!!!)职责描述1、
2022年2月15日
其他

菌菌收集了716份问卷,做了85张统计图,想要得出规划地信等相关行业真实的收入水平(完整版)

写在前面:今天的文章前半部分还是上一篇,不想看的可以直接往下拉。上次有人说动图看得眼睛累,我把它们都换成静态图了。其实本来就打算一起发的,因为上次我还没写完嘛,今天就一起补上。在年前发布的问卷(【问卷调查】这个行业今年的收入到底是什么情况?)最终收到了716份答卷,这个结果可以说是好于我的预期。有朋友前几天问我“你做这件事的动力是什么?”我想我也可以在这里回答大家:“1、不可否认的,我觉得这个事情会有一定的流量;2、其实我自己也很想知道自己的收入水平在整个行业怎么样;3、我想大家也有这个想法想要知道行业的整体情况”。因此,虽然问卷设置不尽科学,题目设置挂一漏万,但是总的来说,应该还是可以反映行业总的情况的。本文共16881个字,可以转发后慢慢看~~目录:壹
2022年2月11日
其他

【工具分享】今天分享一个工具吧

分享啥工具今天要分享的工具,可以将线段转成弧。读完本文,你就可以获取到这个画弧工具。在上一轮杭州疫情来临的时候,我写过几篇文章。杭州12月9日新增人员活动轨迹【高清图】杭州新增新冠肺炎确诊病例活动轨迹【12月16日最新】杭州新增新冠肺炎确诊人员活动轨迹在这些文章中,我使用了如下图所示的弧线段的方式来示意人的轨迹。之后也有在朋友圈说过要将画弧的工具、方法分享出来。今天就来分享一下这个画弧的工具画弧为了把线段转弧段,我定义了一个自定义转换器使用这个转换器可以把下图中所示的线段转成弧可以把多段线可以转成多个连在一起的弧经过在GIS软件中定义线型,就可以形成如下图所示的轨迹线获取方式关注上面的公众号,回复关键字:20220208往期推荐正则表达式课程及优惠领取FME基础课程-完整版【数据分享】中国生态功能区数据【数据分享】中国自然保护区数据【数据分享】省市区政府驻地数据【技能分享】谁都能学会的技术:矢量数据一键转为TopoJSON
2022年2月9日
其他

正则表达式课程及优惠领取

课程目标通过本课程的学习,可以掌握在FME中使用正则表达式进行数据的信息提取,数据清洗等技能。课程定位本课程,面向有一定的FME基础的用户。如果还不了解FME,可以从这个FME课程开始学课程内容本课程,涵盖了FME正则方面的常用知识点,通过本课程的学习,你将掌握使用FME从数据中提取信息、数据清洗、地址分节、数据筛选以及零宽断言及贪婪与懒惰匹配的技能。从而使用正则技能对数据进行高效处理!1、正则基础本节介绍了正则表达式的一些基础知识,通过本节的学习,相信你将会对正则表达式有个基本的认识。2、匹配数字本节介绍了在FME中匹配数字的两种方式,以及如何一次提取出字符串中的全部数字3、匹配中文本节介绍了在FME中匹配中文的方式,通过本节你将学到:我们在匹配的时候,不使用编码,直接用文字去匹配也是可以的4、数据清洗通过本节的学习,你将了解到使用FME进行数据清洗的两种方式5、数据提取通过本节的学习,你将了解到使用FME进行地址类数据各地址节数据提取的方式6、数据筛选通过本节的学习,你将了解到使用正则的方式,对数据进行筛选7、批量重命名字段使用FME不仅能对字段的内容进行处理,还能对字段名称进行操作8、零宽断言通过本节,能了解零宽断言的基本概念,也能学会怎么在FME中使用零宽断言9、贪婪与懒惰通过具体的案例,来展示在FME中使用贪婪与懒惰的方式来对数据进行数据的处理还有很重要的一点就是,在课程报名后,最下面有资料可以下载:里面有课程中涉及到的一些材料供下载。课程优惠课程可点击阅读原文购买。现在是有优惠,具体可以按照这个步骤去小商店买券,享受优惠。购买课程后,请尽快添加老师微信进课程交流群,方便解答学习中遇到的问题。
2022年2月8日
其他

小店课程优惠券使用方式

优惠来了为更好的回馈广大粉丝朋友,我们上线并试运行了小商店来为各位朋友提供优惠服务。服务方式由于涉及到了多个平台,流程稍微有点复杂。小编以基础课程代金券为例,做一个优惠券使用的示例。简单来说:各位朋友需要先在微信小商店购买代金券,然后发送券码给客服,然后获取相应专属优惠券链接。小商店优惠券的使用方式如下图所示:我还录了一个简单的视频,来演示课程优惠券的使用方式:土豪朋友可以忽略上面的步骤,直接购买课程!说明本文档为数据处理与分析课程优惠券使用方式,任何个人及机构不可在未经授权的情况下引用、转发。购买课程后,应尽快添加老师微信,进入课程交流群以便更好的获取帮助及学习。优惠券小商店里已经上线的课程优惠券:10抵20的正则课程优惠券:10抵50元的基础课程优惠券
2022年2月2日
其他

【技能分享】谁都能学会的技术:矢量数据一键转为TopoJSON

还为使用拓扑的应用提供了便利,如拓扑保护形状简化、自动地图着色和制图。怎么将矢量转换为TopoJSON?转换方法有很多,这里介绍三种方式1使用TopoJSON
2022年1月22日
其他

【数据分享】中国生态功能区数据

絮絮叨叨读完本文,你将得到一份中国生态功能区数据,以及各保护区对应的矢量范围。数据获取有套路,不喜勿喷!数据获取方式文末可见!数据介绍数据概况在数据的官方网站上,这样介绍道:在中国生态环境问题、生态系统敏感性、生态系统服务功能重要性的基础上,将一系列相同比例尺的评价图,采用空间叠置法、相关分析法、专家集成等方法,按生态功能区划的等级体系,通过自上而下划分方法进行中国生态功能区划方案划分。考虑到原来的数据都是分散的zip压缩包,不是太便于使用。我对数据进行了整理,按照不同的级别将数据分成了四个层级(也就是分成了四个shp)。这四个层级分别是:生态大区按中国的地貌、水热组合、植被特征等自然条件划分为3个生态大区。
2022年1月5日
其他

【数据分享】省市区政府驻地数据

絮絮叨叨一直以来,本号以分享实用技术干货为主,偶尔也会分享一些数据。几年下来,我发现相比技术内容,大家更喜欢的是数据!既然各位喜欢,那我就多分享点了数据获取有套路,不喜勿喷!获取方式文末可见数据介绍今天分享的这份数据,是从互联网采集后整理而成的,如上图所示。数据格式为ESRI
2021年12月30日
其他

听说你的ArcGIS突然不能用了?

这两天很多GIS相关交流群的很多人都在问同样的一个问题:你们的ArcGIS还能用么?定位问题许多人都遇到了下图所示的这种情况(我是在虚拟机里装了一个软件,复现了一下这种情况)上面写着Warning
2021年12月18日
自由知乎 自由微博
其他

ArcGIS安装步骤

安装包后台回复:安装包即可获取安装包前言对于初学者来说,软件的安装是个拦路虎。遥想当年,立了无数次的flag:一定要学会XX软件!但无一例外,都止步于软件安装。为了避免大伙走弯路,本文就来介绍下GIS中常用的ArcGIS软件的安装方法。ArcGIS本文以ArcGIS10.2.2为例进行安装,其他版本的也类似。下面开始安装,超详细哟!许可安装先装软件还是先装许可,都行!不过我习惯先装许可!首先,打开安装文件,点击Steup开始安装许可下面就是下一步、下一步就行至此,告一段落,下面开始和谐步骤!先停止许可运行!先停止许可运行!先停止许可运行!由于我们装了FME,所以这里需要改个端口号,1-9都行然后把更改后的service.txt和ARCGIS.exe拷贝一下然后重新开启许可就行了,记得点下re-read!至此,许可就装好了!下面来装下ArcGIS
2021年12月17日
其他

【12月16日最新】杭州新增新冠肺炎确诊人员活动轨迹

前言高清大图,可以访问推送下方的阅读原文链接,在共享文档中有高清无压缩的大图。本号已经发过数次次杭州新冠肺炎感染者的相关消息,分别是:杭州12月9日新增人员活动轨迹、杭州新增新冠肺炎确诊病例活动轨迹,以及:【最新】杭州新增新冠肺炎确诊人员活动轨迹。昨晚10点多以及今天,又有新增感染信息,我又做了信息搜集、绘图……我想杭州早点清零,不想在做这种图了,快好起来吧!!!新增感染人员信息整合跟前两次一样,整合后的数据也在这个表格中(点击阅读原文也可访问):https://docs.qq.com/sheet/DR0NwcUh2RVJQYVFJ(高清图也可以在共享文档中查看)。制图在之前的推送发出后,有读者朋友反馈黑色底图比较好,比较清晰。所以这里还用一张黑色的底图来表达轨迹的整体情况。其他还用osm(这个底图标注比较详细,能比较直观的看清轨迹周围的情况)。再次提醒:高清大图可点击阅读原文查看!再次提醒:高清大图可点击阅读原文查看!再次提醒:高清大图可点击阅读原文查看!整体图整体图陆某某王某某徐某某往期文章推荐【数据分享】中国自然保护区数据怎么做一个好工具怎么做一份好数据杭州12月9日新增人员活动轨迹杭州新增新冠肺炎确诊病例活动轨迹【最新】杭州新增新冠肺炎确诊人员活动轨迹
2021年12月16日
其他

【最新】杭州新增新冠肺炎确诊人员活动轨迹

前言高清大图,可以访问推送下方的阅读原文链接,在共享文档中有高清无压缩的大图。本号已经发过两次杭州新冠肺炎感染者的相关消息,分别是:杭州12月9日新增人员活动轨迹和杭州新增新冠肺炎确诊病例活动轨迹。说实话,我已经好久没关注疫情的相关消息了,直到这轮疫情出现在杭州附近。最近又有新增感染信息,我又做了信息搜集、绘图……我想杭州早点清零,不想在做这种图了,快好起来吧!!!新增感染人员信息整合今天杭州发布又发布了新的消息,又有两位新冠肺炎感染者:杭州新增2例新冠肺炎确诊病例(轻型),为集中隔离人员,结合前两天发布的信息:杭州新增1例新冠肺炎确诊病例(轻型),为集中隔离人员,今日杭州报告第2例新冠肺炎确诊病例(轻型),为集中隔离人员共有四名新增感染者。跟前两次一样,整合后的数据也在这个表格中(点击阅读原文也可访问):https://docs.qq.com/sheet/DR0NwcUh2RVJQYVFJ制图上次推送发出后,有读者反馈黑色底图比较好,所以这里还用一张黑色的底图来表达轨迹的整体情况。其他还用osm(这个底图标注比较详细)。再次提醒:高清大图可点击阅读原文查看!整体图整体图从这张图中可以看出,这几天新增的确诊者基本上集中在两个地方,并且都是从集中隔离人员中发现的。这是不是意味着:疫情已经得到了基本控制?整体图王某某应某某庄某阳庄某峰往期文章推荐【数据分享】中国自然保护区数据怎么做一个好工具怎么做一份好数据杭州12月9日新增人员活动轨迹杭州新增新冠肺炎确诊病例活动轨迹
2021年12月16日
其他

怎么做一份好数据

人都知道那些不那些不重视数据的人,都在不同项目阶段被各种各样的数据问题折磨着!好数据人们都说:无规矩,不成方圆!对数据来说,也一样!什么是好数据呢?我觉得:数据本身无所谓好坏,好坏要看有没有相应的评判标准。能达到标准的数据,那就是好数据,达不到的,就不是好数据。数据在生产、处理的时候是不是达到了当时提出的标准,就是好数据,达到标准了,还能能完美支撑应用场景的就是极好的数据。数据生产完了,标准却变动了,旧数据也许就没办法达到新标准的要求。这种情况是存在的!我觉得:不能拿新的标准去套按旧标准做的数据,那不配套。当时达标了,就是好数据!新标准来了,就按新标准对数据进行整合、治理就行了,这是后话。所以数据是不是好的,得对着标准看!并且标准这个东西还有时效性!如果连个评判的标准都没有,那也就无所谓好坏!!!总结一下:有标准,才有好坏!怎么做呢?知道了什么是好数据之后,才能做出好的数据来!想做出一份好数据,要仔细的研究数据标准。同时也要分析现有的数据资源距离要求的标准有多大差距。我一般采取的方式是:先研究标准,再制定相应的技术路线。在技术路线基本确定下来之后,再找点小数据人工的快速走一遍流程,看沿着技术路线做出的数据是否能够做出达标。如果做出来的数据不达标,就去修改技术路线;如果出来的数据达标,就去优化技术路线!能工具化的步骤,尽量的去工具化,提升整个流程的运转效率。这个时候需要什么人呢?需要技术过硬的工具人。人工的去验证技术流程,这样的好处就是能够对技术路线中不合理的部分进行修正。步骤的工具化则能提升效率,保证数据处理的质量(人工的好处是灵活,缺点是做出来的数据容易五花八门,不信你看这个:【使用线分割面】超级垃圾CAD图处理)。数据处理的技术路线包含很多的内容:像数据接入、数据清洗、数据治理等等步骤,多且杂。我认为,所有步骤中最重要的就是数据的质检环节。质检一般是作为最后一个环节出现的,过了质检,数据就该交付了。那么质检环节的设置,就关乎最终交付数据的质量。质检环节设置的松松的,数据做起来很简单,最终交付的数据就是水水的;质检环节设置的严严的,数据做起来比较难,最终交付的数据质量就会高高的。但数据的事情,有时候却不是做数据的人能说了算的。这让人无奈,人生有很多的无奈!总结一下:数据质量,是由质检来控制的!想要好的数据,就要指定严格的质检环节!上面讲的,都是有标准的时候应该怎么做,那么万一连个标准都没呢?应该怎么做?先卖个关子,下一篇再来简单聊聊!最后的絮絮叨叨絮絮叨叨讲了这么多,感觉也还没怎么讲明白。做数据说复杂也复杂,质检设置的严了就复杂些;说简单也简单,质检水水的还不按质检来就简单的要死!这问题的关键,要看怎么取舍。
2021年12月15日
其他

【高清图】杭州新增新冠肺炎确诊病例活动轨迹

ga今天发的推送中图片被压缩,不够清晰,需要看高清大图的,可以访问在线文档中的(单击本篇推送中下方的阅读原文链接)轨迹图工作表访问高清版图片轨迹图工作表中的图,可以通过单机的方式查看到大图。工作表中的图片比上条推送中的清晰不少。给各位关心杭州的读者带来不便,深感抱歉!others杭州出现感染者之后,作为一个GIS从业者,也想为杭州的疫情防控贡献自己的一份力量。所以就有了:杭州12月9日新增人员活动轨迹和杭州新增新冠肺炎确诊病例活动轨迹这两篇推送。但一个人的力量是有限的,现在发布的流调信息中有些地址不那么标准,还有些同音字和错别字,我没办法一个个的去核实。我需要来自朋友们的帮助,如果有意为杭州的疫情防控做一些事情,欢迎添加我的个人微信。我需要你帮我从发布的流调信息中取出地址信息,我也需要你们的帮助,来帮我核实绘制的点位信息是否正确。如果你的城市也需要绘制这样的轨迹图,也欢迎添加我的个人微信,我会在共享文档上添加上你的城市信息。我相信,每个人都出一份力,疫情一定能迅速的得到控制!
2021年12月12日
其他

杭州新增新冠肺炎确诊病例活动轨迹

前言这两天杭州发布又新增了4例新冠病毒无症状感染者,均为集中隔离人员。杭州发布两则消息分别为:12月10日发布的《杭州公布今日新增1例新冠病毒无症状感染者的活动轨迹》和12月11日发布的《杭州新增3例新冠肺炎确诊病例(轻型)、1例无症状感染者,均为集中隔离人员》像上次一样,我又按照:1、数据整理、2、整理后的数据进行矢量化,3、最后在制图平台制图。与上次不一样的是,我将底图换成了osm,这样出来的图会更加的清楚一些(黑色底图好看,但不够直观)。数据整理从杭州发布的信息中,我取了其中的一些上图所需信息,制作了这样的一个表格由于时间短、信息较多,在整理的过程中难免会出现错误。我将整理的表格放在了共享文档上,如果发现整理的信息有误,可以在我整理的基础上直接进行修改(点击阅读原文也可访问文档连接):https://docs.qq.com/sheet/DR0NwcUh2RVJQYVFJ数据矢量化这部分工作跟上次的一样。基于之前的模糊匹配工具,对整理后的数据进行上图处理。由于工具已经是做好的,所以匹配速度还是比较快的。在对发布信息中的地点进行矢量化时候,我按照时间顺序把停留的点连接成了线。需要注意的是,杭州发布中的有些地址信息写的不太对,在进行矢量化的时候,我对明显的错误进行了核查、更改。错误信息:如《杭州公布今日新增1例新冠病毒无症状感染者的活动轨迹》中的:陈行五金商行,应为:晨航五金商行制图本次轨迹将分总图与分人员进行渲染,制成的轨迹图分别如下所示:整体图12月10日新增任某余某某郑某杨某
2021年12月12日
其他

杭州12月9日新增人员活动轨迹

前言今天杭州又新增了5例新冠病毒无症状感染者,在看到杭州发布公众号发布的消息后我想,能不能把这些信息整合一下绘制在地图上?绘制在地图上之后信息看起来更直观,也许能帮到更多人。那就干吧!我首先进行了数据整理、然后对整理后的数据进行了上图,最后在制图平台制图。数据整理从杭州发布的信息中,我取了其中的一些上图所需信息,制作了这样的一个表格由于时间短、信息较多,在整理的过程中难免会出现错误。我将整理的表格放在了共享文档上,如果发现整理的信息有误,可以在我整理的基础上直接进行修改(点击阅读原文也可访问文档连接):https://docs.qq.com/sheet/DR0NwcUh2RVJQYVFJ通告中的赵耀村理发店我在后续处理的时候发现在地图上找不到,有知道的朋友可以在文档中写上具体地址中写上详细的地址。数据上图基于之前的模糊匹配工具,对整理后的数据进行上图处理。由于工具已经是做好的,所以匹配速度还是比较快的。在对发布信息中的地点进行矢量化时候,我按照时间顺序把停留的点连接成了线。制图本次制图使用了QGIS,叠加底图之后进行了简单的配图,最后形成了如下图所示的两张图和每个感染人员的图示意图热力图(越红说明风险越大)愿疫情早点过去!加油!牢记:戴口罩、勤洗手、多通风、少聚集!不给医护人员添麻烦!各感染者轨迹无症状感染者6无症状感染者7无症状感染者8无症状感染者9无症状感染者10次条为杭州发布全文及各感染者轨迹图,本文数据无偿共享,如需本文中数据,可联系作者。杭州加油!!!
2021年12月9日
其他

怎么做一个好工具

人们都说:磨刀不误砍柴工!好的工具,可以让复制的工作变的简单!那么什么工具才能算是一个好的工具呢?一个好工具应该具备什么特点?一个好的工具是怎么来的?如果不满足于只是用工具,那就努力成为一个做工具的人!好工具一伟人曾经说过:不论黑猫白猫,能抓到老鼠的就是好猫!工具也一样,不论工具的制作工艺是怎样的,能解决问题的就是好工具!具体到我们做数据的行业,能又好又快的完成数据的处理的工具,那就是好工具!不论做工具用的是ArcGIS还是Python或者FME啊还是别的什么平台技术什么的,只要能做出能解决问题的工具,那就是棒棒的!好工具应具备的特点我认为一个好的工具至少要具备三个特点:首先是要能保证处理的结果正确,其次就是速度要快,再就是易用。好工具首先要能保证处理结果的正确,这是个不能突破的硬杠杠,是底线!不能数据跑一遍工具,缺了少了!出来的结果乱七八糟的,那肯定不行!一个及格的工具,最起码要保证数据处理不出错,不丢失!在保证正确的前提下,再追求速度。没有正确的大前提,数据跑的再快也没意义。好工具应该有友好的界面,便于用户操作。此外还应该有相对容易部署的环境,考虑到ArcGIS的覆盖面,工具如果是基于ArcGIS研发的,那么使用起来就可能免去了环境配置的环节!(对于一些用户来说,如果工具是基于Python或者FME做的,可能首次运行工具需要花费不少的时间来配置环境)除此之外,最好还能有文档简单的介绍下工具运行的环境、以及工具每个参数的意义。工具怎么来想做一个好的工具,要有做工具的人!工具不是凭空来的!工具也不是随随便便就能做出来的!做工具之前,要做好前期的调查,闷着头干是搞不出好工具的。调查要搞清楚手头都有什么数据,每种数据有啥特点,数据之间有没有关联之类的问题,再就是团队里的人都擅长什么技术,每种技术能做什么,要做到心中有数。(但很多时候,一个人就是一个团队!)知己知彼方能百战不殆!要做调查,要有技术,少了这两样,就不用想着做工具了。摸清需求后要先理思路,在脑子里想想要怎么做才能实现需求,每一步大概应该怎么做!想的差不多了就可以进行适当的尝试,逐步的使用擅长的技术去实现自己的思路,最终问题解决了,工具也就做好了。需要注意的是,一般情况下工具做好了事情并不会结束。工作中的数据总是……,怎么说呢,丰富多彩?五花八门?一言难尽!好的数据可遇不可求,这就注定了工具需要不停的更新完善去处理各种异常数据,去兼顾各种情况。当然,也可以选择做新的工具来进行数据的标准化!但还有种情况就是:需求也会变的!想想这种情况:你埋着头干啊干,解决了不少技术难题,成功的做好了工具,但需求变了,这时候你能咋办?还能咋办,重来一遍呗!工具要有人做,还要有人维护,有人更新!总结希望各位读者朋友,如果你的身边有做工具的同事,一定要善待他。当你按下按钮,点击鼠标,喝着咖啡听着歌儿,数据就嗖嗖嗖处理好的时候!别忘了那个做工具的人
2021年12月4日
其他

【技能分享】一行代码从PDF中提取表格

需求我在技术交流群里发了这样一个PDF,并说了明天公布答案。PDF里有很多有用的信息,这些信息都不怎么好直接拿来用。今天我就来分享一下怎么提取出这个PDF中的表格。开搞提取这个信息其实很简单,只需按照下图所示的代码就可以提取出里面的信息并存盘。附上图中代码import
2021年11月26日
其他

【数据分享】中国自然保护区数据

絮絮叨叨读完本文,你将得到一份中国保护区名录数据,以及各保护区对应的矢量范围。背景在之前的这篇推送中,菌菌补充道:从这里,我了解到了之前的这个kmz数据的来源。本来我还以为,这个数据是用什么服务发布的,如果是直接发布的服务,那么完全可以使用类似这种方式来直接获取这个数据。但是很遗憾,这个网站上的数据都是这样才可以进行下载的:并且这个范围还不是每个保护区都有。很多类似这种都没有范围信息,只有上面的基本信息。跟菌菌交流之后,觉得这个数据还挺有价值的,就把这个数据整理了一下。由于保护区比较多,有三千多个,整理这份数据也花了我们不少的精力。经过我们的努力,最终形成了两份数据,一份保护区明细表,一份保护区矢量数据。接下来就由我来分别介绍一下这两份数据。数据保护区花名册数据格式文件格式本次整理好的保护区花名册,以Excel格式存储,文件扩展:.xlsx字段格式字段名称及含义如下所示:保护区数量从页面上可以看到,平台上的保护区共有3381个。但在整理的过程中,我们发现了有5个保护区的数据有点问题。除去5个问题保护区,有效的保护区数量是3376个。这5几个有问题的保护区分别是:上海九段沙湿地保护区虽然可以在页面上看到这个九段沙湿地,但是点击九段沙湿地,却是一个页面不存在的提示信息(后面的页面不存在不再重复进行截图)这是我发现的数据存在的第一个问题。广东null保护区这样的null,点进去也自然是个不存在。河北黄羊滩保护区这个保护区,点击进去依然是页面不存在。江西省null保护区这个保护区,点击进去依然是页面不存在。湖南省null保护区这个保护区,点击进去依然是页面不存在。保护区名册信息除去几个问题数据,接下来我来从总量、批建年代两个方面来简单介绍一下这份数据的情况:分省保护区数量可以看到,广东省的自然保护区数量的最多,有415个。批建年代批建年代,有38个保护区的年份是缺失的剩下的3388条数据,分布如下图所示:从数据可以清楚的看出,自然保护区的批建时间从1956年就开始了。在2000年达到了高峰,有387个之多。保护区矢量数据数据格式文件格式本次整理好的保护区花名册,以Esri
2021年9月19日
其他

【FME基础】将kml转换为属性齐全的shp

属性组织经过上一步的提取,现在有效信息都在列表里了。接下来要做的,就是从列表里把信息取出来,并赋值给相应字段。处理方式也很简单,只需进行如下图所示的设置:处理后数据:◐
2021年9月15日
其他

联系方式

微信个人微信,欢迎扫码添加(备注行业+名称后更容易通过哟)!如需加入微信交流群,可添加我的微信,发送‘进群’给我,我拉你进技术交流群!邮箱liusonggiser@163.com相比微信或QQ这种即时通讯工具,邮件更适合进行一些深度的交流,也更容易描述清楚问题。所以也欢迎朋友们通过邮件的方式与我沟通(虽然有时候回复比较慢)。QQ群如果说微信只有我一个人回答问题的话,那QQ群就是云集了各位大佬的一个小平台。但是现在QQ群基本上没什么人聊,我这个年纪的人,大家都比较喜欢用微信,但还是欢迎有需要的人来加群。我虽然一直在潜水,但时刻关注着群消息。others分享一段书中读到的,特别喜欢的一段话!孩童时代,我们经过几次摔倒之后,终于学会了骑自行车,即便之后好几年不曾再骑过,但骑车的方法却仍然记得很清楚,这就是用身体去记忆的结果。—摘自《学会提问》,大岛祥誉著!
2021年8月25日
其他

年中了

前言今年已过半,最近很充实,随便写点东西吧!专业现在有太多人,热衷于包装各种名词,缺乏对专业的敬畏!专业之所以被称之为专业,是因为从事某些行业,往往需要大量的背景知识!分工专业化分工就是要把企业活动的特点和参与企业活动的员工的特点结合起来,把每位员工都安排在适当的领域中积累知识、发现技能从而不断地提高工作效率。(摘自百度百科)老板有个编剧说:煤老板是最好的投资人,他们基本不会干预创作。煤老板有一个安全生产的意识,他们特别尊重专业的人。效能磨刀不误砍柴功:钝刀砍柴,看起来挺卖力,但效率真的高吗?效能呢!商业社会,不重视效能就是耍流氓!工具工具本身无好坏,在于使用工具的人。如钝刀,砍柴是不怎么好用,但钝刀砍骨头却挺好使。有经验的专业人员,懂得在合适的时候选择合适的工具。不仅仅是快注意,我说的是效能,不是效率!与效率相比,效能意味着不仅要速度快,还要质量好。不能说你十分钟把活干完了,然后还要再花俩小时找问题,再花几个小时把问题解决掉。这样的快,有什么意义?以数据为例,不经过数据工程直接把各种数据拿来做数据产品,这样最快。但数据中存在的各种问题不解决,在后续的使用中或是理解中,都需要额外的成本。平衡追求效能,是无止境的,只能尽力去提升,在快与好之间找到平衡。在平时,应该注重知识的积累与工具的学习。没有专业工具的支持,理论知识也就是无本之木,要注意理论联系实际,避免夸夸其谈、纸上谈兵。平时不注重学习,在工作中一味的埋头苦干,连效率都没有,更没效能。闲时勤练兵,忙时才能打仗!平常应该多注意学习,夯实自己的理论知识与技术,掌握过硬的专业知识。做到心中有数、知行合一,并用自己的专业知识将难点解决掉,相对快速的把工作做好!数据很多人对数据有误解,以为数据就是数据!那些不重视数据的人,都在不同项目阶段被各种各样的数据问题折磨着!数据啊数据从结构上来区分的话,数据可以分为结构化数据与非结构化数据两大类。我们日常中用来分析或者是各种系统中的数据一般都是结构化数据,常见的结构化数据一般是指可以存储在数据库中的各种数据类型,如我们经常接触的shp数据、mdb数据、gdb数据都可以认为是结构化数据。非结构化数据一般是指各种栅格图片、文本、以及各种报表。对于计算机来讲,结构化数据比较好理解。虽然现在有机器学习,但对于计算机来讲非结构化数据还是很难理解。不管是结构化数据还是非结构化数据,一般都不能拿来进行分析或使用。数据在使用之前,往往需要做一些处理,处理的过程,可以称之为:数据工程;处理后的数据,可以称之为:数据产品!数据工程数据工程,是指面向不同计算平台和应用环境,使用信息系统设计、开发和评价的工程化技术和方法。以工程化作为基本出发点的数据处理、分析和应用方法与技术,是计算机科学与技术学科的重要内容、核心与趋势,具有广泛的应用和良好的前景。(摘自百度百科)从原始数据,到数据产品中所需要做的处理,诸如格式转换、数据清洗、数据质检等处理,都可以称之为数据工程。针对空间数据,数据工程还应包括数据纠偏、数据投影、多源数据的不同坐标系的统一等操作。数据工程的工作是否做到位、完备,决定了最终数据产品的质量。数据产品的质量,决定了业务系统中的数据否正确,以及最终的数据分析成果是否可靠。数据工程,是基石!根基不牢,地动山摇!数据产品一般而言,系统或者分析模型,都很难在其本身再塞进去一个多源数据整合工具,所以一般情况下都是直接给模型或系统提供其所需要的数据产品。也就是说,数据在使用之前,要经过数据工程。经过数据工程的数据产品,至少需要满足以下几点:1、一致;一致性包含多方面,对于数据库中的表数据而言,数据库各表的名称、字段应保持一致,不能一会英文一会拼音,一会首拼一会全拼。各表中的字段名含义相同的应保持一致,比如表的主键不能一会叫id一会叫pid、kid,要素名称不能一会叫name一会又叫feature_name。对于空间数据而言,各图层还应保持坐标系统的一致性,不能一会平面一会球面。诸如此类的数据不一致问题,如果不在数据工程的阶段解决掉,除了徒增整个项目的复杂性、耗费项目参与人员的精力之外,毫无益处。2、完整;数据产品的完整,既要要素自身完整,也要保持整体的完整。自身的完整指数据的各必填字段不能为空,整体的完整是指数据之间应连续,无遗漏。对于空间数据而言,应能完全覆盖研究区域,无缺失。3、逻辑;数据产品一般有自身的逻辑。比方说一张桌子四条腿(别杠啊,这里只是举个例子,毕竟三条腿的桌子我也见过!),如果你把桌子再细分一下,细分成桌子面和桌子腿,把桌子面和桌子腿的信息抽象一下存在数据库里。那么你最终的数据产品中,面表与腿表之间的逻辑就需要否满足一对四的关系。4、正确数据产品最重要的一条,正确!正确!正确!总结不把夸夸其谈当专业,让专业的人,做专业的事情!数据处理与分析,需要的是数据工程的专业人员,没有专业,哪来的效能,哪来的数据产品?敬畏专业,敬畏生命,敬畏职责,敬畏规章!
2021年6月29日
其他

【使用线分割面】超级垃圾CAD图处理

前言今天协助薇諒解决了一个小问题,顺便约了个稿,让阿薇写了一下问题的解决问题的过程。下面我们一起来看下,阿薇是怎么解决工作中遇到的问题的吧!知识点:使用线切分面!正文今天祭天一个作图员!!!!———by
2021年3月24日
其他

如何使用pip包管理工具装包

前言pip是Python的包管理工具,使用pip可以给Python装第三方的库。昨天的推送,包括今天的第二条推送中都介绍了怎么配置pip,那么怎么使用pip来装包呢?还有就是:遇到了问题应该怎么处理呢?装几个包试一试先来个汉字转拼音工作中我们偶尔会遇到需要把汉字转成拼音的需求,那我们就先来装一个汉字转拼音的包试试吧。python有个好处,就是社区活跃,包多!今天我们要装的这个包名为pypinyin,这个包的主要功能就是将汉字转为拼音。这个包有以下几个特性:根据词组智能匹配最正确的拼音;支持多音字;简单的繁体支持,
2021年2月24日
其他

如何使用FME获取数据

是一个易于配置的云平台,可以组织人员、数据和工具以完成倡议和目标。数据获取使用FME获取ArcGIS
2021年2月10日
其他

【数据分享】最新区县级行政区划数据

如上图所示,数据共有5个字段,分别是:province:省,偶尔也会放个直辖市什么的;city:市,地级市、直辖市;citycode:城市代码;district:区县、县级市;code:区县代码。
2021年1月9日
其他

FME基础课程-完整版

课程目录基础部分基础部分主要针对的是没有FME基础的朋友们,从0开始,介绍一些使用FME软件需要了解的一些基本知识,具体的:Desktop整体介绍介绍FME的各个模块,以及FME的工作模式,属于基础知识,建议初学者仔细观看。WorkBench介绍FME核心模块Workbench的使用方式,从界面开始,循序渐进。不要觉得这一节简单,这里面讲到的知识点,很多都是在各个FME技术交流群中高频出现的。新建工程并进行一个数据的矢量化介绍使用FME新建工程的方式,并结合一个具体的小案例来展示怎么样用FME工作!Data
2020年7月29日