重磅推荐：基于深度学习的免费影像语义分割软件，绿视率、天空比，不再是问题
关注城市数据人微信公众号
数据资讯、数据分享、数据技能
欢迎文末加入城市数据学社，共同学习进步
小编：影像语义分割应用在多个领域，例如我们经常看到的街景图像识别，计算绿视率，计算天空比，计算建筑占比等。在影像语义分割领域，如何让大家无需学习复杂的Python编码，仅仅通过简单的操作，就可以完成对图像的解析？今天我们为大家推荐一款真正开源、免费、真正基于深度学习全卷积网络(FCN)的视觉影像语义分割软件：来自CUG.HPSCIL的影像识别工具。本软件可以对150个标签进行语义分割，一起来看看详情吧：
配图示意：影像语义分割的街景应用
基于深度学习全卷积网络(FCN)的
视觉影像语义分割软件
发表于2020年8月3日
http://www.urbancomp.net
FCN网络说明
该网络为中国地质大学（武汉）信息工程学院关庆锋教授团队基于ADE_20K数据集训练的深度学习全卷积网络，软件编写语言为C++。
该程序由高性能计算实验室（CUG.HPSCIL）实验室提供，版权为CUG.HPSCIL实验室所有。
开放软件下载是为了方便各位老师和同学开展计算机视觉或城市计算相关的研究，请勿用做商业用途。
该网络在训练数据集的像素对比精度：0.814426，在测试数据集的像素对比精度：0.66839。
目前已在Win 10 (64位) & GTX 1050 / GTX 1080ti 测试通过，软件支持多显卡工作站和服务器。
如果需要Caffe平台的训练模型文件，请和姚尧博士（yaoy@cug.edu.cn）联系。软件网址为：
http://www.urbancomp.net/2020/08/03/semantic-segmentation-software-for-visual-images-based-on-fcn/
软件运行环境（必须）：
Windows 8/10 (64位)
Microsoft Visual C++ 2015/2017 Redistributable
NVDIA CUDA 9.x （建议）
ADE_20K训练和测试数据集介绍和下载（ 数字0代表位置物体 ）：
http://groups.csail.mit.edu/vision/datasets/ADE20K/
大家在本公众号回复：工具，即可免费获取本软件的下载地址。
首先我们下载解压缩软件，把软件解加压到一个文件夹即可，我们会看到如下的目录结构：
这里面的Data文件夹放入我们要进行语义分割的图片，然后点击 run.bat ，即可运行并生成结果。就这么简单！（可以用记事本修改run.bat，更改输入输出文件夹等设置）
我们先试试看，在 \Data\Images 放入一些图片，然后点击 run.bat，程序会显示运行状态：
稍等片刻，软件提示识别结束，我们打开 \Data文件夹下的 features.csv，你会发现：
文件名，150类地物在图像中的占比，一清二楚，实在是太方便了！
这时候，在 \Data\Images\seg_files 文件夹，你会发现一堆黑色的图片，后缀以_seg结尾，预览是黑色，不过不要着急，拖进Arcmap看看：
进行符号化显示：
选择唯一值，点击添加所有值，再单击确定：
图片已经非常清晰的通过不同颜色被语义分割了，我们对照下原图：
软件识别效果还是非常不错的：
我们在arcgis里面点击查询按钮(i），查看不同色彩的属性值，就可以知道识别后的地物是什么类型了：
例如上图，查询出来的像素值就是18。注意是查询像素值，而不是OID。
这时候你有了csv表格，也有了切分后的图片，还缺一样东西，那就是不同像素值所代表的150种分类含义了：
0 | Unkown objects | 未知对象
1 | wall | 墙
2 | building; edifice | 建筑
3 | sky | 天空
4 | floor; flooring | 地板
5 | tree | 树
6 | ceiling | 天花板
7 | road; route | 路
8 | bed | 床
9 | windowpane; window | 窗
10 | grass | 草
11 | cabinet | 柜子
12 | sidewalk; pavement | 人行道
13 | person; individual; someone; somebody; mortal; soul | 人
14 | earth; ground | 地面
15 | door; double door | 门
16 | table | 桌子
17 | mountain; mount | 山
18 | plant; flora; plant life | 植物
19 | curtain; drape; drapery; mantle; pall | 窗帘
20 | chair | 椅子
21 | car; auto; automobile; machine; motorcar | 汽车
22 | water | 水
23 | painting; picture | 绘画
24 | sofa; couch; lounge | 沙发
25 | shelf | 架子
26 | house | 房子
27 | sea | 海
28 | mirror | 镜子
29 | rug; carpet; carpeting | 地毯
30 | field | 场地
31 | armchair | 扶手椅
32 | seat | 座位
33 | fence; fencing | 围栏
34 | desk | 桌子
35 | rock; stone | 岩石
36 | wardrobe; closet; press | 衣柜
37 | lamp | 灯
38 | bathtub; bathing tub; bath; tub | 浴缸
39 | railing; rail | 铁路
40 | cushion | 坐垫
41 | base; pedestal; stand | 底座
42 | box | 盒子
43 | column; pillar | 柱
44 | signboard; sign | 招牌
45 | chest of drawers; chest; bureau; dresser | 衣橱
46 | counter | 柜台
47 | sand | 沙子
48 | sink | 水槽
49 | skyscraper | 摩天大楼
50 | fireplace; hearth; open fireplace | 壁炉
51 | refrigerator; icebox | 冰箱
52 | grandstand; covered stand | 看台
53 | path | 路径
54 | stairs; steps | 楼梯
55 | runway | 跑道
56 | case; display case; showcase; vitrine | 展示柜
57 | pool table; billiard table; snooker table | 台球桌
58 | pillow | 枕头
59 | screen door; screen | 纱门
60 | stairway; staircase | 楼梯
61 | river | 河
62 | bridge; span | 桥
63 | bookcase | 书柜
64 | blind; screen | 百叶窗
65 | coffee table; cocktail table | 咖啡桌
66 | toilet; can; commode; crapper; pot; potty; stool; throne | 厕所等
67 | flower | 花
68 | book | 书
69 | hill | 山
70 | bench | 长椅
71 | countertop | 工作台面
72 | stove; kitchen stove; range; kitchen range; cooking stove | 炉等
73 | palm; palm tree | 棕榈
74 | kitchen island | 厨房空间
75 | computer; computing machine; computing device; data processor; electronic computer; information processing system | 电脑
76 | swivel chair | 旋转椅
77 | boat | 船
78 | bar | 酒吧
79 | arcade machine | 街机
80 | hovel; hut; hutch; shack; shanty | 小屋
81 | bus; autobus; coach; charabanc; double-decker; jitney; motorbus; motorcoach; omnibus; passenger vehicle | 公交车等
82 | towel | 毛巾
83 | light; light source | 光; 光源
84 | truck; motortruck | 卡车
85 | tower | 塔
86 | chandelier; pendant; pendent | 吊灯
87 | awning; sunshade; sunblind | 遮篷
88 | streetlight; street lamp | 路灯
89 | booth; cubicle; stall; kiosk | 摊位等
90 | television receiver; television; television set; tv; tv set; idiot box; boob tube; telly; goggle box | 电视等
91 | airplane; aeroplane; plane | 飞机
92 | dirt track | 土路
93 | apparel; wearing apparel; dress; clothes | 服饰
94 | pole | 杆子
95 | land; ground; soil | 土地
96 | bannister; banister; balustrade; balusters; handrail | 栏杆
97 | escalator; moving staircase; moving stairway | 自动扶梯
98 | ottoman; pouf; pouffe; puff; hassock | 脚凳
99 | bottle | 瓶子
100 | buffet; counter; sideboard | 餐柜
101 | poster; posting; placard; notice; bill; card | 海报
102 | stage | 舞台
103 | van | 货车
104 | ship | 船
105 | fountain | 喷泉
106 | conveyer belt; conveyor belt; conveyer; conveyor; transporter | 输送带
107 | canopy | 遮篷
108 | washer; automatic washer; washing machine | 洗衣机
109 | plaything; toy | 玩具
110 | swimming pool; swimming bath; natatorium | 游泳池
111 | stool | 凳子
112 | barrel; cask | 桶
113 | basket; handbasket | 篮子
114 | waterfall; falls | 瀑布
115 | tent; collapsible shelter | 帐篷
116 | bag | 袋
117 | minibike; motorbike | 小型机车
118 | cradle | 摇篮
119 | oven | 烤箱
120 | ball | 球
121 | food; solid food | 食物
122 | step; stair | 台阶
123 | tank; storage tank | 槽;储罐
124 | trade name; brand name; brand; marque | 商标
125 | microwave; microwave oven | 微波炉
126 | pot; flowerpot | 花盆
127 | animal; animate being; beast; brute; creature; fauna | 动物
128 | bicycle; bike; wheel; cycle | 自行车
129 | lake | 湖
130 | dishwasher; dish washer; dishwashing machine | 洗碗机
131 | screen; silver screen; projection screen | 投影屏幕
132 | blanket; cover | 毯子
133 | sculpture | 雕塑
134 | hood; exhaust hood | 罩
135 | sconce | 壁式烛台
136 | vase | 花瓶
137 | traffic light; traffic signal; stoplight | 交通信号灯
138 | tray | 托盘
139 | ashcan; trash can; garbage can; wastebin; ash bin; ash-bin; ashbin; dustbin; trash barrel; trash bin | 垃圾桶
140 | fan | 风扇
141 | pier; wharf; wharfage; dock | 码头
142 | crt screen | 屏幕
143 | plate | 盘子
144 | monitor; monitoring device | 监控
145 | bulletin board; notice board | 布告牌
146 | shower | 淋浴
147 | radiator | 散热器
148 | glass; drinking glass | 玻璃;玻璃杯
149 | clock | 时钟
150 | flag | 旗
注：以上中文部分是小编翻译的，仅供参考，大家以英文为准。
接下来，我们就可以对这150种分类在Excel进行图像占比统计了，绿化、道路、建筑、车辆，等等。这将为你的工作节省大量的时间。
我们也可以试试拍摄一下窗外的场景，效果也不错：
注，由于同一道路属于多个分类，所以path，road，两种色彩出现在了这条楼间小路上。这些需要我们在研究时候按需合并。
接下来，我们详细的看一下软件的官方介绍：
软件使用说明：
软件支持将照片进行语义分割（支持识别150种物体，类别ID请查看“输出数据说明”），下载后解压到全英文路径。
软件为控制台程序。鼠标右键点击run.bat文件，使用Windows记事本或Notepad++打开run.bat，修改输入参数：图像文件夹路径和输出特征文件路径。修改后保存run.bat文件，并关闭即可。
鼠标左键双击run.bat即可运行。
输出数据说明
输出数据为16位的分割PNG图像文件，命名规则为“输入图像文件名_seg.png”，存储于输入文件夹的”seg_files”文件夹内。
seg_files文件夹需要提前在分割图像文件夹内新建，否则不输出分割文件，只输出分割结果统计文件。
输出的分割PNG图像文件内每一个ID对应一类物体，类别ID在ADE20K_Class.txt文件中查询，0表示未知地物。
输出的特征CSV文件为每张图像中150类地物所占比例。
注意事项
该程序为Windows控制台程序，需要vs2015以上的运行环境支持。如果没有安装2015以上版本Visual Studio，请在这里下载VC运行库：
https://www.microsoft.com/en-us/download/details.aspx?id=48145。
请保证程序目的和执行都在全英文路径环境下，包括输入参数和图像路径。如果能启动后可识别图像文件，但处理失败的话，文件夹路径改为绝对路径。每张图像尽量不要超过1000*1000大小。文件如果过大可能会超出本地计算机/工作站的GPU内存承载能力，导致内存溢出错误。
注：使用可引用下方论文
Yao, Y., Liang, Z., Yuan, Z., Liu, P., Bie, Y., Zhang, J., … & Guan, Q. (2019). A human-machine adversarial scoring framework for urban perception assessment using street-view images. International Journal of Geographical Information Science, 33(12), 2363-2384.
本公众号回复：工具，即可获取本软件下载地址。
最后，感谢中国地质大学（武汉）信息工程学院关庆锋教授团队，高性能计算实验室（CUG.HPSCIL）实验室，姚尧博士（yaoy@cug.edu.cn）为大家提供免费、易用的优质工具。如果大家对他们的工作感兴趣，欢迎大家访问网站：http://www.urbancomp.net
如果你对后续的分析与应用感兴趣，欢迎扫描以下二维码，加入城市数据人微信交流群：
扫描以下二维码
直接加入交流群
如提示需验证，则可添加以下微信，注明：
“城市数据人”申请加入
长按识别二维码，备注城市数据人
加入讨论群
推荐下载知识星球APP，搜索”城市数据学社“