VR的混合场景-虚拟现实音频处理VR Audio-Part6
【本文文章来源于Oculus官方文档,是目前最全面的关于虚拟现实音频处理的有效方案,由poemqiong翻译】
和声音设计一样,为VR混合一个场景既是艺术又是科学,以下的推荐可能包含警告。
我们的最终目标不一定是真实,需要一直记住这一点。和计算机环境中的灯光一样,什么需要连续或者正确并不是在艺术上有很高的要求。音频团队应该注意,不要逼着自己在VR环境中去追求完全的正确。特别是在考虑动态范围、衰变曲线以及直接返回时间的时候。
声源必须被精确的放在3D的场景中。以前,一个大概的位置信息就足够,因为可以通过移动和衰变来定位。一个物体的默认位置可能是它的尾部或者是脚和地面接触的地方,当一个声音从这些位置发出时,会在空间中显得很不和谐。
Oculus Audio SDK不包含声源的方向,但是高层级的SDK会使用基于角度的衰变进行建模,来控制方向。这些方向的衰变会在空间化之前就发生。
Oculus Audio SDK不包含场景声音,例如瀑布、河流、人群等。
当声音接近或远去时,会产生明显的多普勒效应。VR可以通过声源和听者之间的相对速度来消除,但是这个过程很容易引入噪声。
在现实世界中,声音的传输需要时间,因此在看到和听到东西之间会有明显的延迟。
Oculus Audio SDK支持time-of-arrival。
并不是所有的声音都需要被空间化,有许多声音是静态的或者与头部相关的,例如:
用户交互的元素,例如点击、哔哔声、传输或者其他。
背景音乐
旁白
身体声音,例如呼吸和心跳
这些声音应该在编写程序时被隔离,避免它们在混音时不小心被加入到3D空间化声音的流水线中。
空间化的效果与设备的性能有关,例如在高配的PC上可以空间化30多种声音,但是在移动设备上只能空间化一到两个。
有些声音空间化后效果很差,例如低频的轰隆声,给出的空间感很弱。这些声音可以通过一些移动和衰变来作为标准的立体声播放。
传统的非VR游戏很难做到声音的沉浸感。因为PC用户的话筒质量很低,家庭影院的隔离效果很差。
有了耳机、位置追踪和完全的视觉沉浸之后,对用于声音体验的音效设计变得更为重要。
这就意味着:
有效空间化的声源
合适的音效范围,不太密集,也不太稀疏
避免用户疲劳
合适的音量,可以让用户听得时间比较长
空间和环境的效果
VR音效的延迟与设备有关,最少可以达到2ms,最多可能达到几百毫秒。当用户脑袋的移动速度与声源速度的差别较大时,系统延迟会比较明显。如果观看者移动较慢,且场景相对静止时,音频的延迟很难被察觉。
在VR体验中,特效是很重要的一个环节,像是滤波、赋值、变形和折边等。例如一个低通的滤波器可以模拟水下游泳的声音,因为高频会比在空气中失去能量的更快。或者可以用扭曲来模拟迷失方向。
---------关于同期录音网---------
同期录音网是国内唯一一家针对影视录音信息的垂直门户网站。我们由多名专业的声音工作者组成,很多声音大师都是我们的顾问。我们以与广大声音爱好者,电影迷,专业的声音工作者共同学习为目的创建了“同期录音网”。希望大家关注我们的微信公众平台,并可以去我们的官方论坛一同分享录音中的经验,趣事。
我们的网址:www.locationsound.cn
一起创造美好的声音世界!
声音工作者和影视声音迷的家:
同期录音网
长按二维码关注同期录音网