—— 青亭网
其他
谷歌打算让AR教你临摹画画，看看他是如何做到的
Esther｜ 撰文
最近，有许多开发者将AR技术应用在创作上，比如：今年CES上Cupixel曾展示AR临摹套件，通过AR投影和模块化的画板，让用户将照片/数字图片画成艺术品。另外，还有支持AR模式的填色簿，用AR在周围空间中创作3D图画的应用等。
本周，谷歌创意实验室（Google Creative Lab）也研发了一种相似的技术：Drawalong AR（一起画AR）原型应用，可以让你将YouTube绘画教学视频投射在白纸上，让你跟随着老师的画笔一起学画画。
据青亭网了解，参与Drawalong AR项目的作者Jane Friedhoff最初的灵感是希望用AR来学习绘画字，她表示：学习绘画字很让人放松，但难度也不小。掌握字里行间的变化需要注意到很微妙的细节，比如：握笔的方式、力道、字体的弧度，总之你的上肢到纸张之间的每个部分都很重要。
因此，如果没有老师手把手教你绘画字，就只能通过字帖或者视频来学，但它们并不能达到效果。比如字帖，尽管它能提供一步一步的指导，但是你get不到大师行云流水的笔触，而且她喜欢的一些绘画字艺术家没有出字帖。
而视频教程的话，它的缺点是你需要一边临摹一边看视频，比较麻烦，效果还不够好。
后来Friedhoff和同事讨论这个问题，想到一个主意，就是利用AR技术，这样就能把视频变成字帖，同时给现有的YouTube视频教程带来全新的学习体验。
为了做出这样一款原型AR应用，Friedhoff邀请了专业画涂鸦画的YouTube博主AmandaRachLee当顾问。据悉，Amanda的订阅人数达130万，她的频道内容主要将如何攻克和简化书法、绘画、做手账遇到的难题，很多人因为她的视频而受益。
一、开发原型应用
在决定将YouTube视频作为该AR应用内容来源之前，Friedhoff和团队在UI和UX方面进行了许多技术性考量。
他们先是以HelloAR示例为基础设置了一个新的Unity ARCore应用，原理是在HelloAR中用来识别和可视化平面，以及处理投射和锚点的代码中，将默认prefab换成“tracing paper”（描图纸）。
尽管设置视频的投射功能不难，但是如何让AR影像固定在纸张上，就比较复杂了。
相比之下，Cupixel通过将画板拆分成9个左右的小模块，就会比较利于你将AR影像与纸上的画对齐，而且用户还需要将开启Cupixel应用的设备固定在脚架上。
二、保持稳定的追踪
AR与绘画结合，产生了一个难题。因为如果要画画，你会想在平滑的空白表面上完成，但是AR识别平面需要找到特征点，最理想的就是具有纹理、轮廓和色差等特征的环境。
追踪对于临摹来讲至关重要，因此AR投影对于追踪的要求很高。为了解决这一问题，Friedhoff和团队想到了以下办法：
1，将图像锁定在屏幕某处：这个技巧类似于投影描图器，它要求摄像头固定，因此你可能需要用三脚架来固定移动设备。不过Friedhoff希望Drawalong应用的用户能够用手拿着手机，还能够放大、旋转AR图像以及改变视角。
2，在画板上设置AR标记：这种标记可以是手绘，也可以是打印的，关于标记的数量，则是越多越好。不过Friedhoff表示：这种方式比较繁琐，而且用户画画的表面就不是空白的了。
3，进步式AR标记、计算机视觉/机器学习技术：利用计算机视觉和机器学习算法，用户画的图可作为进步式AR标记，也就是说AR应用可根据用户的笔触一步一步追踪。不过这种方法过于繁琐，Friedhoff暂时不希望将它用在实验性应用中。
4，固定画板：这个方法的原理是，将画板固定在有纹理或色差的平面上，然后利用摄像头来追踪画板下方的平面。
Friedhoff和团队认为第四种方法最简单，也许以后还可以与YouTube正式结合，找到更多应用场景。
找到了合适的追踪方法，他们便从Unity资源商店下载了YouTube播放器资源，在这个资源中你可以搜索YouTube视频，然后以垂直或水平的方式投射到平面上。
三、寻找适合的UI/UX
像Amanda这样的博主，已经上传视频5年了，积累了大量素材，如果给她过往的视频添加支持AR的功能，肯定是步骤能越简单越好。因此，Friedhoff和团队找到了6种解决这个问题的办法。
1，将AR功能加在适合移动的视频内容中：Friedhoff和团队认为，AR临摹有两种方法，一种是直接在纸上临摹，另一种是将AR影像投射在已有的画作上，然后再润色，或者你可以将AR影像投射在已经有涂鸦的手账上，在其中的空白处临摹AR图。
另外，对于那些不是从头顶拍博主画画的视频来说，也可以在AR应用中加入倾斜、变形和视角调整的功能，这种功能对于有点角度的拍摄来讲会有效果。
2，让视频速度可调：有些新手可能慢一点，希望视频也能跟随他们的速度，有些专业点的观众也许希望视频快一点，在有需要的时候再减慢速度，因此AR投影也能调整速度效果会很好。
同时，也可以在应用中加入方便用户点击的暂停键，你按下去的时候视频会暂停，手松开就会继续播放。
3，控制AR模式的时长：对于移动端AR来讲，用户长时间举着手机来查看AR可能会很累。而通常绘画视频的长度在5到10分钟左右，如果全程都是AR，用户可能吃不消，因此可以在有需要的地方加入AR模式，以此来降低长时间举手机给用户带来的疲劳。
Friedhoff和团队做了一个全屏按钮，可以让用户随时在AR和非AR的全屏模式之间切换，切换过程很快，而且追踪的效果不会受到影响。另外一种用法是，用户还可以对着非AR视频画，然后再切换到AR模式进行对比。
总之，就是考虑到用户的舒适度，以及他们希望使用AR模式的时长。
4，支持透明度和色度调整！！
如果直接将YouTube视频投射在画板上，用户可能会看不到自己的画笔和手，这就有点像闭眼睛画画，很难保证准确度。
透明度方面，Friedhoff和团队做了一个透明度滑动器，支持完全透明到完全不透明（0到1）之间的调整。
然而这样还不够，因为绘画视频中的画板也是白色的，属于不需要的图像，它只会遮挡用户使用的画板。但是，当你提高白色透明度的时候，视频中的其他颜色可能会更加透明，不容易看到。
因此，他们决定尝试色度调整的方式，他们称之为“穿透”模式。色度调整功能可以让你将图像或者视频中的特定色彩换成别的颜色，原理与绿幕差不多。也就是说，通过色度调整，你可以将白色替换成透明色，或者直接显示用户画画的动态像素。总之，这个功能大大提高了AR临摹的效果。
此外，如果色度调整后，有些线条看不太清楚，也可以在AR应用中加入着色器，来补充缺失的线条色彩，或者调整对比度。
不过光是靠透明度和色度调整两个功能，Friedhoff和团队的应用就足以生成效果够好，且方便使用的AR投影了。
四、AR临摹的好处/用途
应用做出来之后，Friedhoff拿给Amanda体验，得到了积极的反馈。Amanda表示，粉丝们可以通过AR视频来模仿她画画的手势和笔触。同时，AR临摹应用也可以用于学习外语的写法。就像前不久，苹果CEO蒂姆·库克来访中国的时候，就曾拜访一家AR教育公司，用AR学习写中文。
有了AR临摹，你不需要字帖就能体验到更好的效果，而且YouTube上的资源素材也很多。
对于博主来讲，将YouTube视频与AR结合的过程不复杂，而且也不会改变原视频内容。而对于观众来讲，Drawalong AR应用使用起来很方便，而且有一种老师手把手教你的感觉。
最后，Friedhoff表示：这是一个成功的实验，我们很期待未来能有更多内容创作者将AR与教学视频结合。
参考：https://medium.com/@jfriedhoff/drawalong-ar-90894cf56010
（END）
推荐阅读
—— 青亭网