学术干货 | 人工智能风格迁移 Style Transfer的建筑应用工具与程序汇总
Style Transfer是AI将不同风格和内容结合在一起从而创造出新艺术作品的技术。如下图所示，将相机拍摄下的街景照片分别与梵高的《星空》、蒙克的《尖叫》以及透纳的《牛头人的沉船》结合在一起，创造出对应风格的油画作品。
以梵高的《星空》为例，图c的内容和原始图像相近，除此之外天空中还呈现了《星空》中的月亮和星星，而绘画笔法上也继承了梵高的粗笔触，画面的整体色调和《星空》一致。可以看出，算法对提供绘画素材的街景图片和提供绘画风格素材的《星空》两者的处理方式是不同的，对前者着重保留画面内容，对后者则是要剔除掉其内容而保留绘画风格。
图片来源：https://www.jianshu.com/p/6c67fb9c035d
在建筑学领域，Style Transfer可以作为一种快速生成建筑渲染图的工具，常被用于设计的初期阶段，比如立面设计和改造，以及艺术效果的表达等等。
图片来源：Özel, Güvenç, and Benjamin Ennemoser
作为一枚不懂程序的建筑小白，我们该怎么使用现有的软件来快速生成Style Transfer呢？TechArt小编下面为大家总结了一些好用的在线平台和本地程序。
图片来源：Özel, Güvenç, and Benjamin Ennemoser
在线Style Transfer平台
1) Deepart.io
（ https://deepart.io/hire/ ）
Deepart.io是一个常用的style transfer在线平台，提供一种新颖的艺术绘画工具，使每个人都只需单击几下鼠标即可创建和共享艺术照片。用户上传照片并选择自己喜欢的风格。然后服务器将渲染style transfer图稿。算法由Leon Gatys，Alexander Ecker和Matthias Bethge开发。用户可以上传内容图和风格图，平台生成完成后会发送邮件提醒用户下载成果。
2.Deep Style
（ https://demos.algorithmia.com/deep-style ）
Deep Style是另一个style transfer平台，相对使用比较简单，但是缺点是不能上传用户风格图像。运算较快，一般无需等待。
3.Ostagram
（ https://www.ostagram.me/ ）
最成熟的Style Transfer在线生成平台。用户可以自由上传内容和风格图，自由选择风格的权重（风格化的程度）和大小（风格化的比例）。免费用户平均每半小时允许使用平台一次，付费用户无需等待，生成一张图在0.3美元到1美元之间。
4.Arbitrary
（ https://reiinakano.com/arbitrary-image-stylization-tfjs/ ）
与Deepart.io相似，Arbitrary也是一个比较常用的style transfer在线免费平台，用户自由上传内容图以及风格图，利用图片下的滑轨 调试style与content的比例，在然后使用Tensorflow在浏览器中渲染图稿，十分便捷，快速而且免费。Arbitrary可以上传的风格图也不仅限于1种，两种style的上传选择也让style transfer的适用范围扩大。算法也有github链接https://github.com/reiinakano/arbitrary-image-stylization-tfjs 供大家学习。
1种内容图和1种风格图
1种内容图和2种风格图
Style Transfer 本地程序
当然，Style Transfer的算法是有开源版本的，但是对计算机的要求很高。有条件的小伙伴们（比如拥有GTX2080等高端显卡）也可以尝试在自己的计算机上运行程序生成Style Transfer图片。
（ https://github.com/lengstrom/fast-style-transfer ）
比较早期而成熟的Style Transfer程序，基于TensorFlow，无需安装多余插件。缺点是程序通过python2.7书写，python版本较老，不兼容python3.5或以上。
2. Style-transfer by Fzliu
基于Caffe框架实现的Style Transfer，可以使用vgg16, vgg19, googlenet, 或者caffenet作为基本网络模型。输入的参数较少，比较容易使用。
基于Python3.5，VGG-19，Tensorflow的Style Transfer，参数比较多，可以自由调整各种设置，适应于各种任务。上手难度较高，需要对参数有比较全面的理解。
Style Transfer 建筑应用的相关论文
最后我们一起来看看建筑学术领域Style Transfer的相关成果吧。
(del Campo et al. 2019)和(Campo et al. 2019)是两篇使用style transfer做设计的文章。秉承了一贯的UPenn设计导向的做法，风格迁移算法在这里起到了生成建筑风格化图像的作用，然后建筑师依据生成的图像做二次设计，生成建筑方案。
图片来源：del Campo, Matias, Sandra Manninger, Marianne Sanche, and Leetee Wang. 2019. "The Church of AI - An examination of architecture in a posthuman design ecology." Proceedings of the 24th CAADRIA Conference, Wellington, New Zealand.
图片来源：Campo, Matias Del, Sandra Manninger, Leete Jane Wang, and Marianne Sanche. 2019. "Sensibilities of Artificial Intelligence: An Examination of Architecture in a Post-human Design Ecology." Proceedings of the Design Modelling Symposium 2019, Berlin, Germany.
(Campo, Carlson, and Manninger 2019)介绍了一种三维的风格迁移算法以及应用实例。该方法将三维模型表达为二维的深度图，然后通过风格迁移加入噪点信息，最后再反向表达回三维状态。另外，本文还是一篇比较好的CNN神经网络和风格迁移的知识普及文章，涉及一定的数学逻辑解释。
图片来源：Campo, Matias Del, Alexandra Carlson, and Sandra Manninger. 2019. "Machine Hallucinations: A comprehensive interrogation of Neural Networks as Architecture Design." IASS Symposium 2019 and Structural Membranes 2019, Barcelona, Spain.
(Özel and Ennemoser 2019)同样使用了风格迁移（Style Transfer）对建筑立面进行重新设计。基于生成的二维图像，作者还使用procedural modeling技术将图像转译为生成三维形体的设计规则，然后分区域对二维图像进行三维重建。在立面设计上具有很好的应用前景和艺术价值。
图片来源：Özel, Güvenç, and Benjamin Ennemoser. 2019. "Interdisciplinary AI: A Machine Learning System for Streamlining External Aesthetic and Cultural Influences in Architecture." Proceedings of the 39th Annual Conference of the Association for Computer Aided Design in Architecture, Austin, Texas.
(Campo, Manninger, and Carlson 2019)另外一篇Style Transfer的文章。将平面图作为内容，各种其他图片作为风格，生成酷炫的平面图案。中规中矩的2D风格迁移。
图片来源：Campo, Matias del, Sandra Manninger, and Alexandra Carlson. 2019. "Imaginary Plans: The potential of 2D to 2D Style transfer in planning processes." Proceedings of the 39th Annual Conference of the Association for Computer Aided Design in Architecture, Austin, Texas.
“Style Transfer Mapping”
（ https://vimeo.com/217983570 ）
对于平面图像，特别是城市地图的生成感兴趣，也可以观看M. Casey Rehm 在Eesti Kunstinkadeemia关于Style Transfer Mapping的讲座，其中也有很多Rehm带领的完整studio projects（由概念到style transfer的应用，到最后的fabrication）
关于全篇论文，感兴趣的小伙伴可以在推文最后扫二维码联系小编，即可获取论文包哦～
TechArt将继续专注于建筑与艺术类的学术交流和教育，为热爱学术的小伙伴们分享最前沿的学术知识与优质的海外科研资源！
咨询课程详情
可长按二维码添加TechArt学究科研社学术顾问微信预约