会议报道｜AI能否开启音乐创作与音乐治疗的新篇章？

大脑是人类最精妙、复杂的器官。它控制着人的思想、情绪，储存着人的记忆。而音乐，由人类创作而成，转而又影响人类，成为了人和人之间交流的桥梁。随着AI技术的强劲加持，如今AI音乐的一系列创新又将为人类理解大脑带来无限的可能与契机。

北京时间7月19日，天桥脑科学研究院（Tianqiao and Chrissy Chen Institute，TCCI）与网易云音乐联合举办了AI for Brain Science系列会议第三期，主题为“探索音乐创造的未来：AI、人脑与治疗”。 

会议邀请了计算机科学、生命科学、心理学以及音乐治疗学等领域的5位专家学者聚焦AI创作音乐、人脑创作音乐、音乐人机交互系统，以及音乐在脑疾病治疗中的应用，分享他们的研究成果和经验，共话对未来的展望。本次会议由网易云音乐梁晓晶博士和天桥脑科学研究院耿海洋博士共同主持。

AI作曲会受人类欢迎吗？

前不久，“AI孙燕姿”火遍全网，她的音色被逼真地合成在了各种各样的歌曲当中。那么，AI是否真的可以创作音乐呢？为此，卡内基梅隆大学计算机科学系博士生戴舒琪介绍了生成式人工智能背景下音乐感知分析与治疗应用前景。

首先，想要自动生成一段音乐并不简单。除了旋律生成，还需要考虑多轨伴奏生成、歌词生成、配器和编曲等元素。既往，这些过程都需要靠作曲家的灵感、合理排布和个人经验来完成。如今，利用AI技术也可以将这些复杂过程进行处理，来自动生成一段音乐。据戴舒琪介绍，生成式人工智能在音乐方向的应用主要包括以下三种类型：（1）符号层面的乐谱生成，如旋律生成、多轨伴奏生成、歌词生成、配器、编曲等；（2）音频层面生成，如歌声合成、器乐合成、演奏控制合成、音频端到端作曲等；（3）多模态生成。这些相应的技术主要基于规则的模板、传统机器学习模型、以及深度学习大模型来实现。

其次，戴舒琪指出，以重复为基础的音乐结构，是音乐的重要特征，且具有多层次、技法多样性、和高度逻辑化的特点。音乐的重复和结构会影响人听音乐时对音乐的预期，从而进一步影响人对这些预期的情感反应。基于此，可以通过算法分析音乐的重复结构和预期的感知曲线，针对用户熟悉且喜欢的音乐进行风格模仿产生个性化定制音乐。

在应用层面，生成式人工智能音乐存在着诸多有价值的应用场景。例如，帕金森患者可采用节律性音乐治疗有效改善其运动功能障碍，提高肢体的协调性；在辅助行走方面，老年人也可以通过耳机或穿戴感知设备传输的音乐或节律性声音，提升日常行走的安全性。此外，音乐还可以用于刺激和唤醒植物人。未来，AI生成音乐势必还能带来应用层面的更多可能性。

用脑波创造的音乐能否自我疗愈？

音乐与大脑有着紧密的联系——它从大脑中产生，也影响着大脑。由此，几十年来科学家们也试图通过脑电波制作音乐。1965年，世界上第一首脑波音乐发布。它通过放大物理信号，组织几个乐器生成音乐片段。如今随着技术的发展，人们也开始借助人工智能技术生成脑波音乐。

电子科技大学生命科学与技术学院副教授卢竞展示了脑波音乐的制作过程和原理，并从神经科学角度介绍了人们会喜欢音乐的原因。人听到音乐后，人类大脑的奖赏系统会被激活，并分泌多巴胺，从而让人们感到快乐。经过研究探索，大脑的神经信号与音乐遵循一种1/f α的幂定律（power law），可以通过这种相同的信号特征，建立EEG信号到音乐之间的无标度映射。

在无标度脑波音乐的应用层面，科学家们将癫痫、阿尔兹海默症患者的脑波转化成音乐，可以进行疾病状态的检测，观察紧张和平和两种不同状态；在拔牙时，如果患者听脑波音乐，镇痛效果会比认知行为疗法更好；此外，脑波音乐还有调节睡眠的作用，且慢波睡眠期音乐具有更好的促眠效果。

最后，卢竞展望道，脑波音乐可以有更广泛的应用，改善人的生活行为方式，甚至治疗某些疾病。

音乐治疗，在神经系统疾病中大有可为？

音乐能怡情，但音乐能够在临床医学中起到治疗的作用吗？为此，中国康复研究中心心理科音乐治疗中心副研究员张晓颖介绍了音乐治疗的循证基础与临床应用。

张晓颖首先介绍了文献中提出的音乐信号刺激对听觉通路、皮层及脑网络的三个不同轴线，及其对中枢神经系统的影响；随后介绍了音乐治疗在干预脑疾病中起效的原因。从系统解剖学的角度来说，目前临床音乐治疗在神经系统、运动系统、循环系统、呼吸系统、内分泌系统等领域中有明确的应用。

在神经系统疾病方面，一些常见的脑损伤疾病主要会影响到患者的言语认知、感觉运动、心理情绪等功能，这些功能障碍大多与损伤脑区有关。研究探索显示，音乐治疗可以改善脑损伤导致功能障碍患者的康复预后。

此外，张晓颖介绍，针对不同功能障碍的患者设计相应的音乐治疗方案，可以改善患者的功能水平，提高生活质量，使其更快地回归家庭和社会。这些音乐治疗的新技术都已经被临床证实有效，但如何设计更好的标准化音乐治疗方案还有待进一步探索。

跟着机器学习音乐，

或许学得更快、更好？

学音乐是一个漫长且需要积累的过程。如果你尝试过学乐器，但半年弹不出一个曲子，就会明白有多么挫败。然而，“手把手”教音乐的机器，可以让你在最快的时间形成“肌肉记忆”学会一首曲子，还能修正你的错误。

国王AI大学助理教授夏光宇和上海纽约大学博士生秦楠枫以新颖的双簧形式对于用机器教音乐主题展开了分享。

首先，他们介绍了采用触感指导在物理层面上指导用户的肢体完成目标动作，从而实现用机器教人类演奏音乐的目标。同时，这也可以用于机器辅助的神经康复训练，使本来无法完成动作的用户能够在辅助下完成动作；或者通过逐渐减弱触感指导，让用户逐渐自主完成训练动作。

然而，夏光宇坦言，这种“强迫式”的物理教学方式体验感不佳，难以让习练者产生较好的练习依从性。由此，他们进一步介绍了借助触感反馈和其他模块建立的智能多模态音乐教育系统。触感反馈学习主要由三种模式：（1）在傀儡模式中，用户无脑地被动完成动作学习；（2）在提示模式中，用户主动用力维持手指状态；（3）在自适应模式中，用户采用自主演奏和安全网两种方式进行学习。实验结果表明，论学会单曲时间，通过这三种模式结合训练比仅采用傀儡模式的效率提高45%。

最后，秦楠枫介绍了音乐在音、象、动的三个模态，从内、外两种角度又分为内音、内象、内动、外音、外象、外动共六种模态。其中，内音是人类内在的听觉、内象则是内在的视觉、内动是内在的运动感知。同时，他们指出，相比只有动作训练的神经康复训练，这种多模态的音乐学习与演奏教学方式刺激了更多更广的神经通路。而这种技能-任务形成的课程网络图，结合图算法寻找最短路径，有望在课程网络技能树学习上展开应用。

本次会议在嘉宾与参会者的积极提问与热烈思想交锋中落下帷幕，追问媒体将追问环节的精华内容梳理成文，以飨读者。

会议追问

@耿海洋

在AI创作音乐和临床实践当中，如何充分处理个性化定制音乐的问题？

@戴舒琪

从根本上来说，个性化定制需要回归到感知层面上。而计算模型模拟人类的感知目前非常具有挑战。因此在我们研究中采用模仿的方式，根据用户喜好模仿特定风格的音乐，提升用户的感知体验。同时模仿音乐的过程中要把握模仿的程度，避免出现“恐怖谷效应”。

@张晓颖

对于患者来说，每个人都会有个体化的问题。治疗的方式和技术有共性的特征因素，治疗技术有一部分是标准化的实施流程。音乐治疗，是一个有目标情况下的功能性干预。即治疗目标是设定好的，比如治疗言语、行为、或情绪，目标是提升功能，然后根据目标来实施治疗训练。结合人工智能的治疗需要分级分类来实现，比如在语音模拟、语义理解、数据分类方面，现在的人工智能技术可以完全实现，那就可以把音乐治疗中涉及这一部分的工作交由AI来完成。但是在理解人类的情感和逻辑方面，AI还需要经历大量的数据训练和学习，以便于将来能更好地与临床治疗结合。我们发展人工智能的目的是让AI服务于人，在经过AI辅助的检验筛查之后，由医生团队来决定最佳的治疗方案，造福人类健康。

@梁晓晶

音乐治疗中针对病人使用的音乐需要是病人熟悉的音乐作品，而这和病人过往的听歌习惯有关。目前的80、90后已经广泛接触数字媒体，因此这可以为未来个性化定制音乐提供很好的数据样本库。

@卢竞

每个人在每个状态下的脑电都是不一样的，因此根据脑电生成的音乐也是不一样的。以及音乐听觉反馈上，对于听自己的脑波音乐、听别人的音乐，听一种标准模板的音乐哪种更好，暂时也没有定论。个性化定制音乐对音乐创作家来说可能是比较有实用价值的，但在临床治疗上不一定是最好的。即个性化的一定是最独特的，但不一定是最好的。

@耿海洋

目前，在音乐治疗疾病方面，哪些是比较有效的临床验证标准？音乐治疗帕金森是否证明真实有效？

@戴舒琪

目前的音乐疗法治疗帕金森步态上已经有20多年的临床历史，在很多文献中都被证明有效。但在这个过程是音乐更重要，还是音乐中的鼓点或节奏更重要目前尚有争论。这种疗法还是具有不错的前景，因为目前暂时没有针对帕金森的药物以及病人会对药物产生耐药性。但是，每个病人需要音乐治疗师对其进行专业的定制，成本过高导致疗法并没有很好地得到推广。并且，这种了解音乐和人工智能的交叉型复合人才也相对较少。

@耿海洋

人与机器如何融合？

@秦楠枫

个性化的终点其实是对音乐更加深入的本质探讨，音乐本身是人类社会的产物，在追求个性化、追求让机器生成人类喜欢的音乐过程中，其实就是在研究人类本身和音乐为什么会产生。

@夏光宇

人和机器的结合最终会以一种非常自然的结合形式出现。在结合过程中让人意识不到机器的存在，而不是以一种例如打开手机或电脑输入特定指令这种方式出现。这种才是更智能、更自然的交互。

@卢竞

脑机接口技术有望于音乐进行结合，即通过人的脑电或人工智能算法生成音乐，结合脑机接口，生成的音乐闭环反馈作用于对人。这种方式或许对于之后的治疗和创作音乐实现一种自适应的模式。

@梁晓晶

目前国外有一些消费级的脑电检测产品，这些产品可以通过脑电检测佩戴者的精神状态，根据这种状态调整音效或音乐类型，这是根据脑电实时性生成音乐的一种雏形。通过这种脑电和音乐的闭环系统，使得佩戴者的状态达到一种收敛的程度，如睡眠、缓解抑郁，或许这会是未来一种新的人机交互形式。

@耿海洋

机器创造音乐和人创造音乐如何结合？AI创作的音乐有什么独特的价值？

@梁晓晶

目前AI的效率高，可以作为创作灵感素材来源和一种意图沟通的工具。但人在中间也是有不可取代的地位，例如让音乐与人类产生共鸣的感觉需要人的参与，人参与音乐治疗中的筛选工作，人在AI基础上做润色修改。目前，人在个性化和更高品质化服务上更具优势。

@夏光宇

目前机器的音乐智能在结构导向上主要体现在产生质量好的音乐。但在更深入的沟通交流层面上，人工智能目前存在一定的缺陷，例如在围棋领域，AlphaGo可以打败人类棋手，但是并不能教会人类如何下棋。目前AI也不能够理解人的感情，进而和音乐建立起联系。

@戴舒琪

目前的AI音乐可以大大降低音乐制作的门槛，降低音乐生成的成本，以及极大地改变音乐创作的方式。而另一个角度上，如何用AI更好地理解人的本身，接下来AI要往哪里发展？很重要的一点是情感计算和对人脑感知的理解。当AI能够理解某个音乐为什么是好听的，这可以更新我们对世界的理解，这也需要更多地理解情感和脑科学的机制。我认为这是一个待探索且非常有意义的方向。

会议海报

关于AI for Brain Science系列会议

AI for Brain Science系列会议致力于促进脑科学与人工智能的跨学科合作和交流，以推动学科深度融合。2023年，我们将组织一些列聚焦于AI for Brain Science主题的学术研讨会，包括：AI与数据合成，AI、音乐与大脑，AI与脑机接口，AI与睡眠/梦境， AI与精神健康等主题。

作为系列品牌活动，AI for Brain Science系列会议将提供一个重要的平台，让学术界和工业界的专家们可以展示他们的最新研究成果、交流合作机会，并分享在人工智能与脑科学领域的最佳实践。

我们热忱欢迎对人工智能和脑科学领域感兴趣的学者、研究人员和业界从业者参加AI for Brain Science系列会议。通过这个平台，我们希望推动人工智能和脑科学的前沿进展，为解决大脑功能和疾病的挑战提供创新的解决方案。