学术论文｜基于神经风格迁移的城市形态生成设计探索——以Tarragones的城市设计为例
基于神经风格迁移的城市形态生成设计探索——以Tarragones的城市设计为例
Exploration of Urban Form Generation Design based on Neural style Transfer
——A Case Study on Urban Design of Tarragonès
董智勇 刘宇波 邓巧明 | Dong Zhiyong Liu Yubo Deng Qiaoming
原文发表于2021年全国建筑院系建筑数字技术教学与研究学术研讨会，未经允许，不得转载。
引用格式：
董智勇,刘宇波,邓巧明. 基于神经风格迁移的城市形态生成设计探索——以Tarragones的城市设计为例[C]//智筑未来——2021年全国建筑院系建筑数字技术教学与研究学术研讨会论文集, 2021:57-62
作者信息：
董智勇 华南理工大学建筑学院硕士研究生，亚热带建筑科学国家重点实验室
刘宇波 华南理工大学建筑学院建筑系主任、教授、博士生导师，亚热带建筑科学国家重点实验室
邓巧明 华南理工大学建筑学院副教授，亚热带建筑科学国家重点实验室
基金项目：
国家自然科学基金资助项目（51978268，51978269）
1 研究背景
早在1960年代，计算机技术开始进入到建筑设计领域,1963年的“草图绘板”代表着计算机辅助设计时代的到来[1]。在计算机图形学的促进下，AutoCAD、Sketchup、Rhinoceros等设计表达工具迅速改变了建筑设计过程中的交互和表现方式。随着计算机辅助技术的不断发展，基于规则的算法生成设计方法应用到建筑学形态设计领域[2]。逻辑算法的引入使建筑师走出固有思维，但随着时间的推移，也遇到了新的瓶颈，这种以程序设计为主体的设计方法表现出极强的秩序感，并不能真正模拟建筑师的设计思维。
近年来，深度学习领域取得巨大突破，尤其在神经网络算法方向。相较于多目标优化、遗传算法等规则算法，神经网络的本质不是直接处理输入的数据量，而是模拟人类大脑的思维方式，使机器自行处理输入信息。也正因如此，神经网络算法被认为拥有一定的“自我意识”。目前，神经网络算法在图像生成、时装设计等艺术创造领域已经被广泛应用，表现出极强的创造性。而建筑学的创造性又与其他艺术方向不同，建筑学的创造性是建立在一定的合理性的基础上的。相对于其他艺术领域，神经网络算法在建筑学形态设计中的实际应用有待进一步尝试。
2 人机协同的工作模式
2.1人与机器在工作中的价值体现
美国心理学教授索耶（Keith Sawyer）将创造过程分为八个步骤：发现问题、获得知识、收集相关信息、酝酿、产生想法、组合想法、选择最优想法和外化想法[3]。建筑设计作为独特的创造过程，将当下的神经网络生成设计过程与索耶总结的创造过程进行对比。在当前的技术条件下，机器并没有发现和提出问题的能力。在现阶段，数据的筛选和收集的规则也不能由机器自行制定。但在数据处理方面，机器具有人所不能比拟的优势，机器可以凭借强大的算力实现问题的复杂运算。
在这种情况下，人机协同的工作模式依然是在目前技术情况下的最优解。在建筑设计中，将人类智能与人工智能有效组合：首先，由建筑师分析问题、明晰目标导向、制定数据方向；然后机器对数据的特征进行拾取；机器根据输入条件生成新的方案意向。工作模式可以保证由建筑师来掌握整体的方案方向，同时借助机器的计算能力来实现人脑难以实现的方案构想。
2.2 基于神经风格迁移的生成方法讨论
神经风格迁移（Neutral style transfer）最早由Leon A. Gatys提出[4]，是基于卷积神经网络(CNN)进行的将特定风格应用到图像中的算法。卷积神经网络是一类用于视觉图像分析的深层神经网络[5]。在风格迁移过程中，需要输入风格图像和内容图像。输入图像通过CNN馈送，并且在VGG-19体系结构的每个卷积层上对网络激活进行采样[6]。然后，将内容图像作为结果输出样本拾取，将风格图像通过同一CNN进行馈送，并对网络激活进行采样。这些激活被编码为矩阵形式，以表示为给定图像的“风格”，进而输出具有预定风格的图像。
在操作过程中，用户使用预先训练好的框架输入内容图像和风格图像。在实验的编辑过程中包含了通过内容的梯度下降和风格丢失而进行的一系列优化。根据这些公式，内容权重(content_weight)和风格权重(style_weight)是生成图像的主要影响参数。Vgg网络中各层的风格权重和内容权重总量为100%，每层内容权重和风格权重的不同比例划分也会产生不同的输出解决方案。（1）表示内容损失公式，（2）表示风格损失公式，（3）表示生成公式。
目前风格迁移的初始应用依旧停留在二维图像层面，而城市的形态设计是基于空间的三维设计，同时，城市设计针对的是复杂的地理条件和社会需求，这便需要将三维信息二维化、复杂问题简单化。基于当下的算法和算力限制，标记是学习效率较高的一种处理方案，可以引导神经网络进行运算。同时，相对于神经风格迁移在其他艺术学科中的应用，合理化问题是其在建筑学应用中的需要关注的问题。满足一定的功能需求的生成结果才是具有建筑学意义的。在城市设计实验过程中，通过控制风格图像和内容图像的相对尺度、类型来控制生成效果的合理化。
3 神经网络的生成设计实践
3.1 方案背景
城市是人类聚居模式的高级形式，是一个地区人类文化结合地域特点的综合体现，体现了特定文化区内政治、社会或经济特征。方案拟在加泰罗尼亚地区Tarragonès东部建设一座新的城市，试图在此处建立起一座人工干预与自然高度融合的方案。同时，城市作为人类文化加地域特点的集合体。在对神经风格迁移算法输入信息进行分析后，在选择风格输入时，试图尽量去选择现有的高度人类干预的城市模型；而在内容输入时，则选择相对纯粹的地理因素。
3.2数据收集及标记处理
随着人工智能的发展，数据表现出越发重要的价值。为了实现更准确、合理的风格传输，结合算法的特点，首先处理风格输入和内容输入数据。为了充分保留当地的地形特点，将的地形信息作为内容输入。而在风格输入的选择时，确定了由Ildefons Cerdà主导的与Tarragonès同属加泰罗尼亚文化区的巴塞罗那的城市设计。巴塞罗那城市设计是人类意志的高度体现，方案综合考虑了居民使用因素及商业状态，布置完成了高度统一性及高效性的网格形态。该设计沿用至今，在这个设计中表现出了强烈的人为干预效果。为了保障数据迁移的可行性，两者都选择了尺寸为17.5km*17.5km的区域作为实验对象。确定实验对象后，整理可收集的数据，尝试传输可用于城市设计迁移的图像类型，包括卫星图、肌理图和等高线图（图1）。
图1：预实验：不同图像间的迁移尝试
在预实验中，直接收集到的图像进行实验并不能得到理想的效果。在对其进行了失败原因后，决定对样本进行标记。标记作为一个监督信号，引导网络处理、提取和转换可视信息，实现网络在所需任务上的性能最大化。首先，对巴塞罗那的城市元素进行了梳理(表1)，保留了建筑肌理、公共绿地。同时，对建筑物的高度信息进行标记：实验中借助RGB图像的通道属性，完成对三维信息的二维化处理。在风格输入图像（图2）中，城市绿地用绿色（R85G175B85），建筑高度分层数用蓝色（R0G27B254）、洋红(R210G47B205)、黑色(R0G0B0)、橙色(R251G186B0)进行标记。在Tarragonès地理数据(表2)进行处理中，保留了当地的地形高度信息和森林公园等绿化用地，并对水域及行政区划加以标记，并将横穿基地的铁路和高速公路作为影响设计的重要条件进行了标记（图3）。
图2：风格输入图像 图3：内容输入图像
3.3 形态生成
实验思路：首先输入预处理的图片信息；然后，利用风格迁移算法，调节参数输出图像并进行比选；确定具体参数，生成二维图像；将生成图像与原有的场地信息结合,完成整体城市平面布局。最后，反向识别平面图中的信息进行三维城市形态的生成。
图4：不同权重比例下的输出结果
首先，将标记好的风格图像和内容图像输入vgg-19网络，进行关键参数的调节。神经风格迁移算法中的四个主要训练参数：（1）风格权重(style_weight);（2）内容权重(content_weight);（3）内容权重在每个卷积层中的比例;（3）风格权重在每个卷积层中的比例，前两个参数控制总体拟合趋势，后两个比例控制学习细节。在vgg-19的五个训练层中，每层的内容和风格比例设置为默认值20%。因此内容权重和风格权重成为两个主要影响因素。调节风格权重和内容权重的比例来控制生成结果,多次调参进以输出多个生成方案，以方便下一阶段方案比选。在图4中，当内容权重保持恒定时，则风格权重的增加将导致风格与生成的图像之间具有更高的相似性。在对输出成果进行分析后，挑选出对输入条件做出有效回应的输出结果。将原有的绿地、道路、水域等信息与挑选出输出成果进行图像叠加并优化，进而完成城市平面生成。生成的城市平面中，通过对标识过的信息进行反向处理，将其识别出来，完成城市布局中建筑的三维化。
3.4 成果分析
在对输出结果进行多次比选后，最终选择了风格权重50000、内容权重5的生成结果作为最终方案。该方案打破了传统城市设计中高度人为干预的布局模式，通过处理地形信息，完成了一个兼具人文属性和自然特点的城市设计方案。
图5：Tarragonès地区生成方案
最终方案（图5）有效的回应了地形与城市的关系：在较为平缓的位置，建筑排布更加密集；在较为陡峭的位置，建筑排布相对舒缓。在平面布局中，该项目对水域、道路及绿地的位置做出了一定退让，表达出与已有设施的关系。在已有道路沿线它布置了更多的多层及高层建筑物，体现出城市建筑与交通的关系。同时在已有绿地的边缘，有部分低层建筑的深入。除了对输入基地信息的处理，生成结果也表达出了基于城市平面布局的思考：在海滨及内湖沿岸等景观效果较好位置，方案中布置了一些商业价值较高的多层建筑。同时，生成结果也反映了Cerdà在巴塞罗那的极具理性的规划思想，公共绿地与低层建筑间隔布置，小街区内做中庭或建筑分散布置。除此之外，生成结果也结合地形特点布置了公共绿地。在表3中，对输出结果的生成数据进行了统计，并与输入数据进行了对比。机器并未照搬风格输入图像的特征，而是根据Tarragonès的地形特点进行了部分适应化调整。
通过对数据的处理、风格迁移成果筛选及三维化转化，基本完成了预期的城市形态设计。该项目将繁复的城市设计中混杂的人的因素与环境的因素透明化。在神经风格迁移算法与城市设计的交叉运用中加入了对影响因素的控制，实现了多因素影响下城市形态的自动生成。相对于之前风格迁移生成设计依靠单一因素的转化，本次实验完成了对多因素的处理与控制，实现了相对合理化的迁移生成方案。
4 总结与展望
本次实验基本完成了基于神经风格迁移的三维城市生成，也进一步证明了机器学习是城市生成式设计的理想工具。通过控制变量及输入数据，进而控制输出结果的合理性与创造性，以便设计师进行下一步的筛选和比较。同时，本次研究通过对数据的标记处理，打破了以往风格迁移辅助设计中缺少对影响因素处理的情况，初步尝试了对影响因素的控制与处理，实现了多因素干预下的迁移。
作为一项试验性设计，这项设计充分考虑Tarragonès的人文属性与地域属性，在现有的基地条件内完成了崭新的城市设计。这次多因素干预下的风格迁移必将为算法生成设计带来新的启发，下一步将把数据的进一步整理和结果筛选优化作为之后的研究方向。多因素干预的风格迁移方法提供了一个兼具创造性和合理性的工作方法，将启发人工智能与城市形态设计的交叉应用。随着计算机技术的飞速发展，人机协同的工作模式将在建筑学形态设计领域表现出巨大的潜力。
参考文献：
[1]魏力恺,张颀,张昕楠,张备.计算机辅助建筑设计的过去、现在与未来[J].工业建筑,2012,42(11):158-162+157.
[2]蔡陈翼,李飚,卢德格尔·霍夫施塔特.神经网络导向的形态分析与设计决策支持方法探索[J].建筑学报,2020(10):102-107.
[3]索耶 R.创造性：人类创新的科学[M]. 师保国,译.上海：华东师范大学出版社，2013：103-104.
[4]Leon A. Gatys,Alexander S. Ecker, Matthias Bethge. A neural algorithm of artistic style[J]. arXivpreprint arXiv:1508.06576,2015.
[5]Yann LeCun, LeonBottou, Yoshua Bengio, and Patrick Haffner. Gradient-based learning applied todocument recognition[C]. Proceedings of the IEEE,1988:86(11),2278-2324.
[6]Matthias Kümmerer,ThomasS. A. Wallis,Matthias Bethge. DeepGaze II: Reading fixations from deep featurestrained on object recognition[J]. arXiv preprint arXiv:1610.01563,2016.
往期推送