查看原文
其他

优化耳机杜比全景声混音的终极利器 - 定制你的专属HRTF

白菜君 以白菜的名义 2024-02-09

白菜君按


  • 杜比实验室近日推出公测版的个性化渲染(Personalized Rendering)功能,可以大大改善使用耳机进行杜比全景声混音的应用场景下的监听体验。

  • 该功能需配合iOs 版APP - Dolby PHRTF Creator 及支持Face ID并运行iOS13或更新版本的iPhone 手机使用。

  • 该功能免费提供,点击文末阅读原文即可获得试用版申请链接。

  • 本次推送旨在告知各位这一新功能的面世,鼓励大家去申请试用,并无太多教程,但会附送一些官方 Q&A 在文末。

  • 白菜君已经收到一位老师的试用心得,会在下篇推送放出,后续也考虑放出申请、安装、使用教程,请关注本号,不要错过干货

  • 本文编译自杜比实验室及刊载于Pro Tools Expert 上的文章,原文标题为 New Dolby Atmos Personalized Rendering Announced     


这次发布的公测版中提供了Dolby PHRTF Creator APP,该APP可引导创作者完成采集过程,并生成独有的个性化的头相关传递函数(Personalized HRTF),可用于杜比全景声渲染器以及Windows平台上的Dolby Atmos for Headphones 应用。最终的结果是让用户能够更准确地体验空间化的声音,并确保跨多团队协同工作的场景下所有人都可以用以相同的条件体验混音。


耳机上的空间音频体验会因每个人的耳朵、头部和肩膀的形状的差异带来巨大的差别。这是因为空间音频渲染器(Spatial audio Renderer)- 通过耳机将空间混音(Spatial Mix)渲染成双耳体验 - 通常是根据人体模型头部的单一画像建模的。这就带来了挑战,因为涉及到音乐/影视后期制作以及游戏开发等应用中的专业工作流程时,对于空间感和音色精度的要求是是非常高的,然而(目前应用的双耳渲染方式的体验)限制了使用耳机进行空间音频内容创作的应用。


(下面的视频将不同个体的HRTF以视觉化形式呈现出来,非常直观)


该解决方案目前处于测试阶段,可适用于任何杜比全景声内容创作者,包括游戏开发、音乐人、混音师、制作人,以及影视制作团队。

去年,人们对杜比全景声 (Dolby Atmos) 的应用和兴趣有了爆炸式增长,这在很大程度上应得益于 Apple 推出 Spatial Audio 后,人们对于杜比全景声音乐的热度,但搭建一套7.1.4杜比全景声监听系统是一项重大投资,因此,使用杜比全景声渲染器内置的双耳渲染(Binaural Rendering)是进入杜比全景声世界的一种非常有效的方式。

Binaural - 解决了杜比全景声的耳机监听问题吗?

理论上讲您可以通过一副耳机对杜比全景声这样的沉浸式格式进行监听,效果会很理想,如果您真正尝试过 Binaural 双耳混音,可能会对结果的印象非常深刻。但有时却事与愿违,双耳渲染是否能够提供良好的沉浸式体验在很大程度上和您的个体生理特性高度相关—耳朵的形状、头的大小、脖子的长度和肩膀的形状等等,所有这些组合在一起才能创造出一种独特的、个性化的体验,让您用这种方式感知到世间的声音。这种头部相关传递函数(HRTF)在某种程度上赋予声音音色变化,这些变化带来方向提示,让我们能够定位周围的声音。如果使用通用的 HRTF引入的色彩与我们自己对世界的体验不同,那么沉浸式体验就会崩溃,我们就失去了在虚拟沉浸式配音舞台中准确定位周围声音的能力。


这就是最近发布的公测版杜比全景声个性化渲染  - Dolby Atmos Personalised Rendering 的意义所在 - 因为它有效地解决了通用的双耳渲染的这个缺陷。


公测版从今天开始免费提供。当测试完成后,它会成为杜比全景声渲染器的一个附加功能且不需要额外付费。个性化头部相关传递函数(Personalised Head Related Transfer Function  PHRTF)的创建很简单,只需使用智能手机(目前仅限Apple 手机)摄像头,并安装好 Dolby PHRTF Creator 的iOS版本的 APP,引导式测量过程就会对从您的耳朵、头部和肩部采集到的 50,000 个数据点进行分析。因为现在前置摄像头几乎是智能手机的标配,所以您完全可以自行完成这一过程。


目前,杜比全景声个性化双耳渲染 Dolby Atmos Personalized Binaural Rendering 仅在杜比全景声渲染器中可用,这意味着像Logic Pro这样集成了杜比全景声渲染器的工作站暂时还不能配合PHRTF使用。

当我们说着PHRTF、双耳监听和杜比全景声的时候我们在说什么 

Binaural Monitoring (双耳监听)不应该成为标准的杜比全景声扬声器监听系统的替代,但是和立体声混音类似,双耳监听是一种非常有效的补充手段。而PHRTF会让耳机监听发挥更大的作用,因为比起使用通用的HRTF来说,它的适配性更好。


我们咨询了英国工程师/制作人Emre Ramazonoglu的看法,他刚刚试用过了新的PHRTF功能,他这样说:

个性化的HRTF选项是对双耳混音工作流程的重大改进。我感觉定位和空间感都有了非常显著的改善,这会让在耳机中进行杜比全景声混音变得更加容易和准确。

关于杜比全景声个性化渲染,杜比实验室是怎么说的

杜比全景声个性化渲染(Dolby Atmos Personalized Rendering )提供了准确、透明和高效的耳机监听环境,为创创作及其他们的团队提供了灵活性和信心可以通过耳机创建和交付高质量的沉浸式混音。


随着对杜比全景声和空间音频内容的需求不断增长,杜比全景声个性化渲染(Dolby Atmos Personalized Rendering) 允许创作者在在创建空间音频内容时通过耳机监听来创作他们最好的作品。该工具还将扩大杜比全景声创作者的队伍,把那些没有条件配置扬声器监听环境的创作者们纳入旗下。此外,使用PHRTF可以提高与扬声器监听的兼容度到,这意味着更多的工作可以通过耳机远程完成,可以减少在录音室的时间。这种灵活性比以往任何时候都更加重要,因为现在远程协同工作越来越普遍,在游戏等领域,一个项目通常会有分布在世界各地的创作团队一起协同工作。

Q

为什么杜比实验室要开发个性化的头相关传递函函数的解决方案

A:耳机上的空间音频体验会因每个人的耳朵、头部和肩膀的形状的差异而有巨大的差别。这是因为空间音频渲染器(Spatial Audio Renderer)- 通过耳机将空间混音(Spatial Mix)渲染成双耳体验 - 通常是根据人体模型头部的单一画像建模的。这就带来了挑战,因为涉及到音乐/影视后期制作以及游戏开发等应用中的专业工作流程时,对于空间感和音色精度的要求是是非常高的,然而(目前应用的双耳渲染方式的体验)限制了使用耳机进行空间音频内容创作的应用。


Q

这个功能对创作者的价值在哪里?

A:Personalized Rendering 个性化渲染为创作者及其团队提供了使用耳机准确和一致地体验空间音频的能力,方法是创建一个为每个人量身定做的播放环境 - 提供一种更舒适的方式来创建和聆听空间混音。这一新功能还为身处不同地点的制作团队协同工作创建空间混音提供了强大的灵活性。


Q

杜比的这套PHRTF有什么独到之处?

A:Dolby PHRTF Creator APP 可以根据每个用户的耳朵、头部和肩膀上的50000个点进行采集并创建自定义声学地图(Custom Acoustic Map,以便让杜比全景声渲染器能够了解每个不同的用户在真实世界中是如何感知周围的声音的。

APP会将信息发送到云端服务器,专用计算机视觉和机器学习算法会根据收到的耳朵、头部和肩膀的尺寸生成您专属的HRTF。


绝大多数替代的解决方案是将用户放入PHRTF“素材箱”,这些素材箱旨在代表一系列相类似的HRTF,而不是为每个人创建个性化的专属的配置文件。杜比实验室的解决方案应用广泛并且易于掌握,并将作为免费功能提供给杜比全景声渲染器的用户。


Q

Dolby PHRTF Creator App 是如何采集我的头、耳和肩的信息的?

A:Creator APP 将引导您完成简单的10秒采集流程,帮助您确保您的房间、照明和背景符合要求。


Q

Dolby PHRTF Creator App 支持哪些移动终端?

A:目前,所有运行iOS 13或更高版本并支持FaceID的iPhone机型 - 即iPhone X和更新机型* - 都可以使用Dolby PHRTF Creator App


* 不支持iPhone SE (2020) 和iPhone SE (2022) 


Q

上传完成多久我能拿到我的 PHRTF 资料

A:正常情况下,您的PHRTF将在提交采集信息后10分钟内提供给您。如果在24小时内没有收到反馈,请联系我们的支持团队:https://professional.dolby.com/phrtf/support/


Q

这是一个收费功能吗?

A: 不需要额外付费或者升级即可使用


Q

对于耳机有什么特殊要求吗?

A:使用任何一副耳机都可以


Q

音乐、影视创作者们如何应用杜比全景声个性化渲染

A:

  1. 需要安装杜比全景声渲染器软件(DAPS或DAMS授权均可)

  2. 安装 Dolby  PHRTF Creator APP,需要运行iOS 13或更高版本的iPhone X或更新版本(不含2020/2022版的iPhone SE)。

  3. 完成采集并接收到您的专属HRTF后,即可在您的杜比渲染器中使用这个PHRTF参数。

  4. 可以使用任何一副耳机来进行杜比全景声双耳监听


Q

游戏开发者们如何应用杜比全景声个性化渲染

A:

  1. 安装 Dolby  PHRTF Creator APP,需要运行iOS 13或更高版本的iPhone X或更新版本(不含2020/2022版的iPhone SE)

  2. 运行Windows10 或11的PC且安装有 Dolby Access

  3. 可以使用任何一副耳机来进行杜比全景声双耳监听


Q

与缺省的HRTF相比,杜比的PHRTF体验如何

A:体验可能会因各种不同的因素而有所不同。使用默认的 HRTF 体验时,听众可能听不到最准确的定位或空间混音的音色呈现,而有些人可能根本感知不到空间定位。还有一些人甚至可能会感到不适或疼痛。对许多用户而言,PHRTF 提供的差异可能非常微妙。


Q

我怎样确定我是否需要PHRTF?

A:除非您的解剖结构与用于创建通用HRTF的人体模型高度一致,否则在通过耳机收听空间音频时,你一定能感受到PHRTF带来的舒适度和准确度。


Q

我的HRTF和别人的相似度如何?

A:每个人都有他专属的HRTF,这是基于他们各自的解剖学结构的。这就是为什么使用通用的模仿人体模型的HRTF会影响通过耳机收听空间音频混音的体验。


Q

每个人只有一套HRTF吗?

A:每个人的HRTF由其独特的物理特征决定,因此只有一种量身定做的配置。由于传统的HRTF是以人体模型为模型的,你经常会遇到音频准确性问题,有时甚至会感到不适。杜比全景声个性化渲染会生成您独有的HRTF,从而使您的体验尽可能准确和清晰


Q

如何让我的团队成员和我用同样的条件体验空间音频

A:为了确保您的团队和与您用相同的条件体验空间音频,他们必须配备相应的的工具来完成个性化渲染。在他们有了各自的PHRTF和杜比全景声渲染器之后,您就可以保证团队都以相同的条件体验空间音频了。



不说了,我要去申请试用了



———— / END / ————

2B还是不2B,这或许是个问题

但是

“干,还是不干,从来都不是问题”


扫码关注白菜君,不定期科普吐槽八卦解密



若觉得本文有料或有趣,请帮忙点赞!


继续滑动看下一个

优化耳机杜比全景声混音的终极利器 - 定制你的专属HRTF

白菜君 以白菜的名义
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存