凭借AI修复老北京影像火爆B站的Up主大谷兄，今天又来带我们玩穿越了！
这次是1929年的老北京，除了AI上色、补帧、扩大分辨率外，还百分百还原了时代原声，老北京的味儿太足了！人头攒动，熙熙攘攘，有赚吆喝的、看热闹的、闲聊的，老北京集市好不热闹。
大鼓、笛子、四胡、三弦，手艺人的一曲《打新春》，有内味了。
小伙：这个头好，剃得不疼。剃不好……
师傅：剃不好啊？
小伙：真疼！
师傅：嗯！
小伙：剃好了咱还找你去。
师傅：欸!......如果精神小伙穿越到现在，会不会是一位优秀的Up主？
溢出屏幕的开心劲儿，看来发型很满意。在我们这年代都不用剃光头，用不了几年就能天然形成。
3分钟的珍贵影像资料，可谓真真切切地感受了老北京九十年前的生活状态。虽然看起来物质生活不是很富裕，但隔着屏幕都是感受到那时候人们的欢乐。准确的来说，这段影像记录的是1927-1929年的老北京，出自南卡罗莱纳大学影像库馆藏胶片。另外，这段影像修复视频依然出自B站Up主大谷之手，此前他曾用AI修复过1920-1927年的一段老北京影像，在B站爆火，视频点击量超过了200万，还受到了央视新闻的报道。不过，从影像的修复效果过来看，显然这次在去噪和着色方面处理的更好，而且还是自带原声的影像资料。这次的修复作品是与央视新闻联合发布的，视频上传不到30分钟，在B站就收获了30多万的播放量，弹幕更是爆屏。（视频观看地址见文末）
其实，旧影修复并不是新鲜事。去年新中国成立70周年时，AI助力修复的4K版《开国大典》等献礼片就惊艳了公众，许多观众看后热泪盈眶。
《开国大典》修复前后对比
传统的影像修复，是依靠有艺术功底的老技师，通过手工逐帧修复、合成的传统方式来进行，需要耗费大量的物力和时间，一段影片往往需要几十到数百人同时奋战几十天。
相反，AI技术可以先通过机器学习和模型训练来填充细节提高老电影的画质，再利用深层神经网络为老电影“上色”，最后进行转录和人脸识别，从而完成对整部影片的修复，这个过程大概只需要12个小时左右，极大地提高了旧影片的修复效率。在电影修复方面，AI 技术的应用大大提高了效率，解放了人力，让原本繁重的劳动变成了近乎「一键式」的操作。随着人工智能领域机器学习、图像处理等技术的快速发展，AI修复影片正逐渐成为老片修复的新方式，帮助它们重焕新生。
据大谷介绍，这部修复作品采用了新的AI技术DeepRemaster。与此前相比，它在上色、补帧、分辨率方面都有更出色的表现。这项技术的研发者是日本建筑大学的Satoshi Iizuka和和早稻田大学的Edgar Simo-Serra。他们的论文还被SIGGRAPH Asia 2019收录。
SIGGRAPH计算机图形学年度会议，是代表计算机图形学最高水平的国际性重量级 CG 盛会，素有计算机图形图像研究领域“奥斯卡”之称。SIGGRAPH Asia是SIGGRAPH唯一分会。
论文地址：
http://iizuka.cs.tsukuba.ac.jp/projects/remastering/en/index.html我们知道以前的影像资料一般都是黑白的，而且像素、质量比较低。如果修复的话，需要提高分辨率、去除噪声和增强对比度的处理。基于这些任务，作者提出了一个DeepRemaster模型。它基于时间卷积神经网络，在视频上训练注意力机制（Source-Reference），这种注意力机制可以处理任意数量的彩色图像，同时不需要对长视频进行分割，因此保持时间的一致性。经过定量分析表明，DeepRemaster的模型性能可以随着视频长度和彩色图像的增加而提高，远优于现有的修复模型。
在模型Input端输入黑白图像，经过时间卷积网络的预处理和Source-Reference注意力机制的深度训练后，可以结合任意数量的彩色图像来生成最终的色度信道。在这一过程中，Source-Reference注意力机制允许模型在给视频上色时，参考彩色图像（Reference Images）中的相似区域。基于递归的卷积神经网络，在传播信息时，通常是逐帧传播，不能进行并行处理，并形成依赖关系。因此，在参考彩色图像时，图像会反复重新开始，这样时间上的相关性就会丢失。而基于Source-Reference注意力机制的卷积神经网络在处理任何帧时能够并行使用所有的参考信息。以下是DeepRemaster修复的效果图：（右侧为参考彩色图像）Zhang、Yu和Vondrick等人曾对世界经典电影和Youtube视频进行AI修复试验，结果取得了不错的效果。作者为验证DeepMaster的修复性能，与之进行了对比。首先是与Zhang、Yu的比较。作者从Youtube的300视频数据集中随机抽取了一段8M视频作为修复目标，其中所用到参考彩色图像，取自源视频，并每隔60帧截取一次。
噪声处理：从修复结果来看，当前的方法在去噪处理方面，显然优势明显。第一列为存在噪声瑕疵的原图像，前两种几乎没有对齐进行修复，第四列可以看到在高保真的状态下，噪声被处理的很好，与第四列真实图像几乎没有差异。
着色处理：图中第一列为原始图像，后三列为不同方法的处理着色处理结果，最后一列为参考彩色图形。可以看出第三列的颜色处理与第四列几乎无差异。因此，基于Source-Reference注意力机制的模型着色效果更好。
另外，作者将Zhang和Vondrick的修复方法结合，并进行了比较。上部图像为参考彩色图像，分别对第5、85、302帧的图像进行了修复，结果可以看出目前的方法在着色效果上更好。更多论文详细内容参考：
http://iizuka.cs.tsukuba.ac.jp/projects/remastering/data/remastering_siggraphasia2019.pdf经典影片的修复和数字化，不仅使得人们可以欣赏到几十年前的优秀电影作品，也提高了文化遗产保护的成功率，使得老电影文化遗产保护工作向前迈进一大步。
当然也有人表示，影像修复也不能完全依赖于AI技术。因为AI 目前所做的都是画面或者声音上修复和强化处理，考虑到影像（尤其是电影）还有艺术的成分，要修复到什么程度才合适，还得靠人工来把握。而AI算法就是莫得感情的数学问题，暂时还不能掌握分寸。在提高画质的同时，如何保留老电影本来的味道，也许是 AI 还要努力的方向。
B站视频观看地址：
https://www.bilibili.com/video/BV1ga4y1e77T/
教学研讨QQ群
一年级群: 939925431 | 二年级群: 966019485 |
三年②群: 982990549 | 四年②群: 1047555355 |
五年②群: 1047559325 | 六年②群: 994517613 |
长按关注“小牛顿科教”，进入公众号
1.“网课配套”栏目，含资源汇总/一课一练/1-6年级微课/科普视频。
2.“教学研究”栏目，含教学理论（教材解读|优秀课例|教育|技术），教具研究，STEAM，电子教材阅读版，历史消息。
3.“买买买”栏目，含小牛顿器材和非教具百货产品
实验箱部分材料预览