编委佳作 |范红超教授：基于布局图模型从激光点云数据中重建语义墙面模型
本文发表于Geo-spatial Information Science（GSIS，地球空间信息科学学报）
摘要：
具有详细可计算信息的先进三维(3D)建筑物模型，在城市规划、热工性能评估和虚拟现实等应用中发挥着重要的作用。
在这种建筑模型中，语义墙面模型是关键组成部分。然而，根据建筑风格、功能和建筑规模的不同，建筑墙面可以有不同的模式。
为了灵活地处理不同类型的墙面和不同质量的点云数据，以及提高模型重建的重建健壮性和准确性，GSIS编委，挪威科技大学范红超教授、武汉大学王月峰博士、龚健雅院士等在GSIS（地球空间信息科学学报，Geo-Spatial Information Science）上联合发表了学术论文Layout graph model for semantic façade reconstruction using laser point clouds，在墙面结构复杂的情况下推导和重建语义立面模型，并从3个数据集中选取多个不同特征的墙面点云数据，验证了该方法的有效性。
文章内容：
提出一种新的墙面结构描述方法，即墙面布局图模型。该模型包含两个层级的图结构，分别为描述楼层结构的顶层布局图（Top Layout Graph，TLG）和描述墙面元素的底层布局图（Down Layout Graph，DLG），此二者图使用相同的图结构。在建筑形式美法则和格式塔理论的指导下，所提模型以简单有效的方式实现对不同布局类型墙面的结构重建。
对于最优模型的推导，利用建筑的结构知识来设计约束条件，从而减少参数的范围。同时，在这些约束条件下，采用吉布斯抽样得到新的候选模型。
通过TLG中的楼层聚类来体现高层级墙面结构之间的几何和拓扑关系，而低层级墙面元素之间的几何和拓扑关系通过DLG中的元素聚类来体现。基于这些关系的描述，将额外的信息传递给语义墙面模型，而不是简单地从语义分割重建它，这使得计算机能够以更智能的方式理解墙面。
实验结果表示，本文提出的外观墙面布局图模型适用于不同类型的外观墙面结构的重构重建，且具有清晰的层次结构，能够直观地解释外观墙面结构特性。
扫码查看原文
Hongchao Fan, Yuefeng Wang & Jianya Gong (2021) Layout graph model for semantic façade reconstruction using laser point clouds, Geo-spatial Information Science, DOI: 10.1080/10095020.2021.1922316
作者简介
#
Hongchao Fan
范红超，挪威科技大学教授。他在斯图加特大学获得大地测量学和地理信息科学硕士学位，并在德国慕尼黑工业大学获得博士学位。研究兴趣包括三维城市建模，基于VGI数据的空间数据挖掘和激光扫描。
Hongchao Fan is Professor for 3D Geoinformatics at the Norwegian University of Science and Technology (NTNU). He received his master’s degree in Geodesy and Geoinformatics at the University of Stuttgart and obtained his Ph.D. at the Technical University of Munich in Germany. His research interests include 3D city modeling, spatial data mining from VGI data and laser scanning.
#
Yuefeng Wang
王月峰，武汉大学在读博士，研究兴趣包括三维建筑重建和三维GIS。
Yuefeng Wang is PhD candidate in Wuhan University. His research interests include 3D building reconstruction and 3D GIS.
#
Jianya Gong
龚健雅，武汉大学教授，中国科学院院士，研究兴趣包括地理空间数据结构和数据模型、地理信息系统软件、地理空间数据共享与互操作性、摄影测量、地理信息科学和遥感应用。
Jianya Gong is Professor for GIS at the Wuhan University, and also an academician of Chinese Academy of Science. His research interests include geo-spatial data structure and data model, geographical information system software, geospatial data sharing and interoperability, photogrammetry, GIScience, and remote sensing applications.
前沿观点
#与仅用于可视化的三维实体模型不同，语义外观墙面模型表示每个外观墙面元素的位置和标签，并帮助识别这些元素之间的几何和拓扑关系。
Unlike 3D solid models, which are solely used for visualization, semantic façade models indicate the location and label of each façade element and help identify the geometric and topological relationships among these elements.
# 结构特征的挖掘不应以表面形态为基础，而应结合立面结构产生的原因、隐含的美学观点和人们的认知规律。
The excavation of structure characteristics should not be based on the surface morphology, but should be combined with the causes of facade structure, the implied esthetic and people’s cognitive law.
# 墙面语法的优势在于，它可以通过设计一组产生式规则来描述墙面结构（Alegre and Dellaert 2004）。因为墙面是人造物品，具有规则的形状（矩形、圆形、三角形等）和重复的图案。
使用墙面语法，可以采用一条分割线将墙面结构拆分为许多基础单元，每个基础单元包含墙面元素的语义标签和形状。
The advantage of façade grammar is that it can describe a façade structure by designing a set of production rules (Alegre and Dellaert 2004; Becker 2009), benefiting from the fact that façade s, being man-made objects, have regular shapes (rectangular, circular, triangular, etc.) and repetitive patterns.
Using façade grammar, a façade structure can be split into numerous basal tiles using a split line, and each basal tile contains the semantic label and shape of the façade element.
# 在我们的实验中，阳台的粗糙轮廓也可以通过设置朝向墙面外侧的方向来提取。这是可能的，因为窗户往往是凹陷在墙面内，而阳台是从墙面突出的。
为了测量实体组件和布局图模型之间的一致性程度，我们将改进的墙面结构映射到一个2D平面上。根据墙面大小随机生成窗、阳台和门的三个初始布局图模型。
In our experiment, the coarse outlines of balconies could also be extracted by setting a direction of outlier. This was possible because windows are often indentations in the façade, whereas balconies protrude from the façade.
To measure the coherence between components and the layout graph model, we project the refined façade structure onto a 2D plane. Depending on the size of the façade, three initial layout graph models of the window, balcony, and door are generated randomly.
# 依赖于建筑形式美法则，墙面能将分层结构作为描述特征。例如，作为语义实体，楼层具有比窗户或阳台更高的层级。因此，当指定一个窗户的位置时，我们通常首先指定它所在的楼层。在这方面，传统的图在描述墙面的层次结构方面是不够的。
因此，我们引入了表示大型和复杂结构的层次图模型，这种图通常被称为复合图。复合图的优点是它能够用高层级图中的节点表示子图结构。本文中，我们开发了一个复合图模型来描述墙面布局的分层结构，并将其称为墙面布局图模型。
Façades feature hierarchical structures depending on the Principle of architectural form. For example, the floor has a higher level than windows or balconies when considered as a semantic entity. Thus, when specifying the location of a window, we typically first specify the floor on which it lies.
In this regard, the conventional graph is inadequate in terms of depicting hierarchical structures in the façade. Thus, we introduce a hierarchical graph model representing large and complicated structures; such graphs are typically termed as compound graphs (Sugiyama and Misue 1991; Dogrusoz et al. 2004).
The advantage of a compound graph is that it describes a graph model that employs a node to represent a sub-graph. We exploit a compound graph model to describe the hierarchical façade layout and call it the façade layout graph model.
# 似然表示生成的模型与给定数据之间的一致性程度，这可以通过将重建模型映射到实际的墙面点云来获得。一致性程度越高，模型参数的配置越好。
在重建的模型中，窗户用矩形边界框表示。将这些矩形边界框映射到精炼后的墙面结构上，我们可以通过计算矩形边界框区域内激光点的数量来测量一致性程度。
但是，单独使用这个计算函数可能会产生一个较大的分量，因为面积越大，点的数量就越多。
Likelihood indicates the degree of coherence between the generated model and given data. This can be obtained by mapping the reconstruction model to an actual façade point cloud. The higher the degree of coherence, the better is the parameter configuration.
In the reconstructed models, windows are represented by a rectangular Bounding GEO-SPATIAL INFORMATION SCI Box (BBox). After mapping these BBoxes to the refined façade structure, we can measure the degree of coherence by counting the number of laser points within the BBox area, denoted as L1.
However, using this calculation function alone may generate a large component, because the larger the area, the greater is the number of points.
# 当从参数空间生成一个新的解时，需要解决两个问题。首先，由于布局模型中存在多个非独立参数，难以从参数空间直接采样；其次，从高维空间随机抽样可能产生无效解。
When generating a new solution from the parameter space, two problems need to be addressed. First, owing to the existence of several non-independent parameters in the layout model, direct sampling from the parameter space is difficult. Second, random sampling from a high-dimensional space can yield invalid solution.
# 在模拟退火过程中，核是动态选择的。核的选择主要基于两个方面：
第一个是当前解的后验概率，存在这样一种情况，即在迭代的初始阶段，算法有效地找到一个较好的解。此时可能不再需要在这个核上进行额外的迭代。因此，可以赋予一个新的核更大的概率以帮助优化过程进入下一阶段；
其次，当迭代到一定次数时，在当前核的控制下找到更好的解可能很困难。因此，应该选择一个更合适的核来避免潜在的局部最优化。
In the simulated annealing process, the kernel is selected dynamically. The kernel is selected based on two aspects.
The first is the posterior probability of the current solution. There exists a case where a better solution is effectively found during the initial stage. In this case, additional iterations on this kernel are unnecessary. Therefore, a new kernel can be assigned a greater probability to help the optimization enter the next stage.
Second, when iterating up to a certain time, finding better solutions under some conditions can be difficult. In this case, a suitable kernel should be selected to escape from potential local optima.
研究数据
本文采用3个数据集进行实验。
其中，数据集A是通过车载系统的单移动激光扫描仪获得的，每个激光点详细记录了x、y、z轴坐标、扫描时间和反射率。
数据集B是公共数据集Paris-Lille-3D (Roynard, Deschaud, and Goulette 2018)的一部分，其中每个点都被描述为(x, y, z, x_origin, y_origin, z_origin, GPS_time, reflectance, label, class)，点密度约为每平方米1000—2000个点。该数据集是通过车载多光束激光雷达传感器获取的。因此，可以认为大多数区域的点密度是相似的，然而，各向异性模式也存在。值得注意的是，Paris-Lille-3D数据集是在巴黎的一条街道上收集的，巴黎的建筑有许多不同的布局结构。因此，该数据集可以作为验证所提方法的实际证据。
数据集C是公共数据集SEMANTIC3D.NET的子集(Hackel等，2017)。通过静态扫描仪获得的点云在不同距离下表现出不同的点密度。因此，该数据集可以用于验证所提方法对墙面不同质量数据的鲁棒性。
文章图表
图1. 研究路线
图2. 墙面布局图和属性
图3. 使用布局图模型对墙面进行自顶向下解析
图4. 对墙面布局图模型的两种描述
图5. 墙面布局的案例
(a)无法重建的墙面；(b)正确重建的墙面；(c) 墙面包含正确的元素，但布局不符合建筑形式美法则，即它们明显拥挤或稀疏
图6. 使用布局图进行自底向上的重建
图7. 迭代过程后验估计的变化
图中x轴表示迭代次数，y轴上的1/P表示每次迭代的后验概率
图8. 完整墙面重建结果
图9. 复杂墙面Bld-6重建结果
图10. 低质量墙面重建结果
图11. Bld-6中窗户、阳台、门的布局图
在窗户布局中，我们完善了DLG。使用属性继承可以构造具有相同属性的节点，从而减少参数的数量。在阳台布局中，我们将同样的属性继承方法应用于TLG，以细化布局图的结构。(a)数据集A的重建结果，上图为原始点云的精炼结果；(b) 数据集B的重建结果，上图为原始点云；(c) 数据集C的重建结果，上图为原始点云。
图12. 所选数据集的整体重建结果
其中青色表示窗户，粉色表示阳台，蓝色表示门。在这些结果中，立面使用CityGML LoD3标准生成，建筑的屋顶是通过使用Random3DCity引擎生成的(Biljecki, Ledoux，和Stoter 2016)
表1. 布局模型参数定义
表2. 不同条件下核的选择概率
表3. 数据集描述
数据可用性声明
在这个工作中使用的数据和源代码可以在链接里获取：
https://github.com/wangyuefeng2017/SAGIBBS-semantic-facade-reconstruction。
扫码查看原文
Hongchao Fan, Yuefeng Wang & Jianya Gong (2021) Layout graph model for semantic 外观 reconstruction using laser point clouds, Geo-spatial Information Science, DOI: 10.1080/10095020.2021.1922316
制作：杨佳琪 金榕榕 | 编辑：王晓醉 | 审核：张淑娟
关于 Geo-spatial Information Science
Geo-spatial Information Science（GSIS）是由武汉大学主办的测绘遥感专业英文期刊，主编为中国科学院院士、中国工程院院士李德仁教授。2020年9月被SCI收录，2020影响因子为4.288，Q2分区。2020 CiteScore为7.4，Q1分区。
GSIS 采用开放获取的出版模式(Open Access），文章一经发表，可马上被全球读者免费全文下载，这种模式可以让你的文章有更多的曝光度。
欢迎广大测绘遥感学科的科研工作者投稿。如果您有需要抢首发权的高质量文章，可与我们联系gsis@whu.edu.cn，主编/国际副主编亲自为您处理，编辑部提供随时随地的疑问解答与状态跟踪。
期刊官网：
https://www.tandfonline.com/tgsi
投稿网址：
https://rp.tandfonline.com/submission/create?journalCode=TGSI
阅 读 推 荐