论空间音频对于VR体验的重要性

From 前沿科技新媒体青亭网 2019-05-02

Esther｜撰文

“星战之父”乔治·卢卡斯在2011年MPSE“金卷轴”颁奖礼上曾说过：“电影的一半体验由音效组成”。音效对于电影来说无比重要，一个恐怖片吓不吓人，很大程度上受到了音效的影响。拿恐怖片经典《闪灵》举个例子，这部片子伟大的关键就在于其通过搭配适时的音效来烘托恐怖和紧张气氛的能力。

以下面两段音频/视频为例，温馨提示：第一个胆小勿点。

这一点对于VR和AR内容是值得借鉴的，若要营造浸入感和逼真感，它们需要提供的不仅是360°视觉体验，搭配立体空间音频也是必不可少的。

音效设计师兼听力学医生Laura Sinnott认为，声音通常在画面之后出现，它是无形的，它通过分子的震动传播，人用手并不能抓住，它只存在于时间，它用声波代表了物体的活动。

她说的没错，而且这些声波存在于生活的每个角落。值得注意的一点是，在都市长大的人因为常常接触各种各样的噪音，大脑不得不采取麻木的方式，屏蔽大部分音频来适应这种嘈杂的环境（突触修饰），简化人们的生活。

看过《吸血鬼日记》的应该知道，吸血鬼的感官相较于人类是更加放大的，他们如果不去控制这些感官，估计会因为听到周围的各种噪音而被逼疯吧。

刺激麻痹的听觉

Sinnott表示，听觉是人类在子宫中第一个产生的感官，它对于人类的存在起到了根本作用。听觉不仅仅是交流的媒介，也是人类情绪健康、认知甚至生存的关键。现在我们对声音的灵敏度似乎大不如前了，这种与人的本能中心相连的器官需要重新被激活，而XR或许能够成为这个问题的解决方案。

她继续说道，听觉在进化过程中很可能先于视觉，紧随平衡系统之后，因此音效设计师不管在设计用于网页的沉浸式音频还是还是单声道音频，应该多了解一下声音的强大效果。

虽然相比于听觉体验，目前的VR/AR更注重浸入式视觉内容，但是在10月的纽约VR博览会上的VR/AR空间音频分论坛上，专家们似乎认为XR能够打开复兴听觉的大门，唤醒人们对它的重视。据悉，该分论坛的主旨是，我们只能看到眼前的东西，但是耳朵能收集身边各处的信息。

空间音频重在设计

XR开发者们越追求数字影像的逼真程度，就会越发现音效从来都不是画面的附属品。一名台湾作曲家兼音效设计师Larry Change发现了这一点，他表示，如果没有合适的音效设计，叙事内容将失去魅力，也无法令人信服。

并提出，XR内容的音效设计可以被分为四大元素：音效、音乐、环境音和对话，在设计这些声音特效的时候，开发者应该注意：碰撞和交互的声音、使用声音去讲故事（通过声音对用户进行间接的引导）、空间音频在VR中的放置（营造固定的音响空间或者跟着用户移动来强化清晰度）、如何将四大元素混合。

如果XR内容缺少了空间音频，甚至音画不同步，那用户的临场感将大打折扣。好的内容应该触发用户的感官、本能、思想与情感，因此空间音频如果不协调，就会让用户感觉突兀和不适，就像是劣质的视频拼接效果一样。

各大VR/AR公司也开始重视起这个问题，Magic Leap甚至在官方博客上专门发文解释空间音频，其音频专家Jean-Marc Jot解释，音频也会与真实环境产生交互，比如声波被物体挡住会变得低沉，因为物体材料和形状的不同，声波接触后可能会产生混响或者回声效果。

另外，声音还能为用户提供移动物体的远近信息。这些真实声音传播的规律，也是Magic Leap空间音频希望达到的效果。为了进一步助力这一技术，该公司还与森海塞尔合作，推出了一款空间音频耳机。

除此之外，HTC Vive在今年6月也曾推出空间音频SDK（3DSP），通过融入对距离、形状和背景噪音等实际环境因素，帮助开发者更快速地为用户创造逼真且身临其境的音频体验。NVIDIA在10月推出的VRWorks SDK 2.0在强化全景视频拼接的基础上，还优化了对三维立体声音频的支持。

音效是VR/AR体验的核心

声音是人类认知的根本，VR/AR内容搭配音效将会对加强用户对内容的记忆有着很大的影响。下图为戴尔的经验之塔（视听教育的主要理论依据），其中从上数第三行的橘色代表了音频/录音/相片，可以看到在文字/语言符号和图片/视觉信号基础上，有了音频人们会更加专注，对知识的记忆力也更强。

作曲家、涉足电影/电视/广告/新媒体的多乐器演奏家Jefff McSpadden表示，将听觉与视觉结合，可让人们进一步记住百分之90%的知识（所以大家才会那么爱看视频）。

McSpadden是网页版沉浸式空间与交互式音频公司Composure（专注于减压与提升用户健康）的CEO，他们的网页版空间音频体验支持用户自定义，通过用户主动权，强化他们的放松和专注效果。

今年3月，知名音响公司Bose也曾提出一个大胆的想法，希望通过立体声，取代AR显示技术来增强现实。据悉，该公司的这款产品曾获得5000万美元融资，用于打造其生态环境。

McSpadden认为Bose的“AR”眼镜将会为盲人带来很大好处，他们将通过与空间音频的教育来接受培训、教育和娱乐，这款产品的出现，将推动空间音频进入日常生活的进程。

XR结合空间音频的潜力

科研人员在声音的操控上进行了多年研究，包括今年10月美国空军构建的无回音室（吸收回音），是为了更好了解声音传播的原理。Sinnott将这种没有回音的环境描述为，在物理环境中没有可反射声波的物体时的样子。

美国空军的无回音室

有了XR技术，不用构建这么大型的无回音室，我们也能控制声音的频率与震动，真正强化音效和音乐。

不过不管空间音频被应用在消费级产品、企业及产品还是心理声学（研究人对声音感知的学科）的研究上，浸入式的音频设计毫无疑问将加深让人们对声音在环境中传播规律的了解，希望它也能让我们意识到，这种“不太主动的知觉”其实还是有很大的潜力和价值。

（END）