VR声音：开拓新领域的趋势和挑战

原创 2016-12-01 一只鸡腿 LocationSound同期录音网

VR是声音设计的一个新的前沿，这个行业充满了潜力和新技术，虽然许多方面还没有被弄明白或公认。Travis Fodor是一个音频工程师、编辑师和声音设计师，他曾参加了许多VR的初创、全景视频项目以及纽约大学的音乐和音频研究组。 Andrew 与Travis从专业的声音效果角度谈论他的想法、经验以及预测相关的VR音频。

以下采访 Travis Fodor简称 TF，简称PSE

PSE：你在VR或全景项目工作通常的工作流程是什么？

TF：创造一个现实环境气氛的时候，我把声音素材导入ProTools，就像做电影或者电视广告一样。我通过脚本以及游戏引擎——Unity、拼合一些15-20秒的相互交织的环境音，而不是像在电影场景一样加入1-2分钟的环境音。在需要的时候回放一段一段的剪辑，而不是播放整个音频文件，这可以使引擎的压力减少许多。我也使用硬效果，如汽车、鸟类等，但我是把它们放在Unity 的3D空间中以及用类似的方式来做一款游戏的。

其它大量的声音设计的元素，我大量的使用Massive和Absynth的音源，然后倒入Komplete 10创作。目前VR声音的一个巨大的挑战是你需要兼容很多平台：Oculus Rift, Samsung Gear VR, HTC Vive, gaming PCs, MacBooks......，为了这个我花了很多时间来设置各类的耳机，各种耳机都要进行参考，当然，目前Oculus Rift的耳机是目前对于用户最好的体验，所以我们会以这个产品为主。

PSE：你对VR当前状态的想法是什么？（不一定是音频相关的）

TF：VR就在这里，它不会去其他任何地方。一般情况，人们都觉得VR在成熟之前，还需要一段时间。但是，我坚信，电影和游戏很快将有一个面向VR的巨大转变。

PSE：你有过影响了你的VR体验的经历吗？

TF：最近，我有两个经历影响了我，作为一个《瑞克和莫蒂》的粉丝，在Altspace VR里，我能够站在Justin Roiland旁边,亲眼看着他从画出节目中的人物这件事简直太酷了。而之前，我在玩HTCVive的游戏Battle Dome。Battle Dome是一个第一人称射击游戏，两支队伍用各种各样的枪射击对方，以占领对方的基地。我碰巧是一位特殊地带的狙击手，为了找到最佳的射击角度，我不得不躺在地上，侦查对面的情况，一旦我的膝盖和肘部接触地面（在现实世界中）我很快意识到“Travis，你躺在你的客厅地板上了”，而不是在调整我的位置，以除掉我的对手。这对我来说是一个非常现实的时刻，因为我充分意识到以前所有的时刻我是完完全全处于另外一个空间的。当你进入沉浸在VR，我总是给人们形容们“那一刻”。我亲眼目睹了超过100人经历VR体验的时刻，它从不会过时。

PSE：在VR社区中你看到了什么趋势？

TF：在VR社区中的每个人都是如此热衷于推动VR。有一点很重要，要知道没有一个人是“VR专家”。这些人可能是有经验的设计师，游戏开发商，或技术专家。VR社区是进入未知的领域。VR社会有一种混合的感觉，包含了探索、风险和创新。我想说，不同于其他创意的媒体的是，我们感到所有人都在从上到下的推动声音的重要性。对于音频工程师来说这是令人兴奋的。我们将开始看到我们一直在寻找的声音。

PSE：在处理VR的全景声音的时候，你遇到了什么挑战？

TF：你必须注意到音频的CPU资源更重要的是3D音频资源。有时我不得不关掉一个声源的3D元素，采取传统的平移/振幅（panning/amplitude ）去创造一个三维空间，甚至降低音频文件的采样率。第三方插件的空间定位做得很好，几乎能够完全吻合，还有其他必要的获得沉浸式音频的工具。我们将需要更多的处理能力。你必须为一个1500美元的游戏机和一个手机出相同的产品，这很棘手。我们可以向两端优化，但这带来了一个有趣的充满活力的现象，我们在游戏科技中还没有遇到过。

PSE：在VR中，你什么时候使用单声道或多声道的声音效果？你看决定Ambisonics（全景三维声）与VR有什么区别呢？

TF：首先，重要的是要区分360全景体验和VR的区别，全景电影基本上就是屏幕环绕在你的四周（在每一个方向上），你作为观众可以坐下来,你可以在四周围体验电影或游戏。而VR允许你在环境中移动和步行，改变你视角的视觉元素和声源。360也让你改变视角，但只在你自己头的轴线上。你不能在360全景视频里旅行。

当拍摄360个视频，你应该考虑录制一些全景声素材，或在游戏引擎的空间里放一些单声道声源。结合头部跟踪，你可以完全复制声音体验。在纽约大学的音乐和音频研究实验室，我们用B-format格式录制360全景声的音乐会，然后把他们带VR耳机里。如果你把全景音频导入到VR软件引擎，如Two Big Ears，你就可以添加头部跟踪音频。

在我的经验，我主要是工作实现单源的虚拟现实，这是应用到游戏引擎的3D空间。然而现在，我们可以开始尝试Ambisonics在各种虚拟现实里。今年，VR Audio在硬件和软件方面都有巨大的推动作用。谷歌建立了B-format格式，就可以默认支持YouTube全景和VR以及Jump camera rig拍摄设备。有很多先进的格式，我预测Ambisonics将继续为创造身临其境的虚拟现实发挥巨大的作用。

PSE：关于VR声音，仍然在争论的是什么？

TF：目标源改变而声音改变的方式，虽然大量的第三方插件一直出现，但没有人确定它，没有标准。我们没有一个适合每个用户规范的HRTF引擎。Oculus和一些第三方公司已经发布了一些开发者使用的HRTF定位工具，他们的工作做的很好。我在纽约大学音乐音响研究实验室努力工作，一旦我们有不错的统一的方式，一旦每一个用户都可以体验到准确的定位，我认为沉浸式的音频将取得伟大的成就。

PSE：你期待VR音频领域发生怎样的改变？

TF：VR已经使很多大公司意识到声音的重要性。我们将看到很多音频工程师和声音设计师将跳到VR行业来工作，还有一些好的软件工程师为CPU的音频制作体验而优化他们的技术。看看游戏机的历史就了解到在我们现在的阶段，需要CPU可以发展到支持这些工作。而VR只是要燃烧的那团火。

PSE：当你考虑到VR的未来，什么是你最兴奋的？

TF：我的兴奋来自两个角度。通过我在这些VR平台的工作，我已经看到了社交VR将是下一个沟通的平台。真的期待着有一天，我和我的朋友们能从移动应用程序（如Facebook和Instagram）实现VR。在更个人和创造性的方面，我兴奋于VR带给音频工程师的新挑战。VR技术是一个全新的领域，几乎是在声音设计师和3D音频工程师之间的新技术。我真的很兴奋，我们可以开拓这一新领域。

点击查看过往VR声音精彩文章：│视觉固然惊魂，可别忘了，还有声音【虚拟现实的音频处理(视频上)】│没有声音的虚拟现实都是纸老虎【虚拟现实的音频处理(视频下)】│VR电影中的声音——《Collisions》主创谈【视频】│虚拟现实（VR）技术正向影视制作转移，声音更加重要 │沉浸式话筒|森海塞尔Ambeo VR MIC（视频）│主流的VR音频录音方案