寓学于乐，寓乐于学：上纽大举办2021音乐表达新界面国际会议

Scroll down for English

上个月的上纽大礼堂音乐充盈，热闹非凡。互动媒体艺术专业（IMA）和计算机科学学部将世界各地的音乐技术学者与艺术家汇聚一堂，探索提高音乐表现力的数字方式。新界面音乐表达国际会议（NIME）自2001年创办以来每年举办一届。今年的NIME大会由上海纽约大学主办，于6月14日至18日举行，这也是NIME第一次来到中国。会议大部分日程在线上进行，6月17日为线下交流日。

在上纽大举办的线下活动包括主旨演讲、艺术展览和现场表演，向全球观众同步直播。来自美国、欧洲、亚洲各地超过400名观众参与观看。

大会主席、计算机科学助理教授夏光宇说道：“主办NIME国际会议的过程是一次美妙历险，”他与IMA访问艺术教授Margaret Minsky共同主持了这次大会。

“我们的志愿者团队出类拔萃，是本届会议成功举办的关键。在充满了不确定的国际大环境中，我们一起学会了乘势待时，居易俟命，自强不息。”

三位嘉宾发表了主题演讲，他们分别是卡内基梅隆大学计算机科学、艺术和音乐教授Roger Dannenberg，纽约大学教授、Facebook副总裁兼首席人工智能科学家Yann LeCun，以及圣托马斯大学工程学院、奥普斯商学院和工程教育中心的教授、游戏学习实验室主任AnnMarie Thomas博士。Minsky教授和夏光宇教授一同担任了主题演讲环节的主持人。

（从左至右）AnnMarie Thomas博士、Yann LeCun教授和Roger Dannenberg教授是本次NIME大会的三位主题演讲嘉宾

在线下交流日的交流中，嘉宾们尽情畅谈，涉及主题丰富多样，包括可及性、人工智能与人的互动、声音技术的艺术形式，以及发展音乐技术对普及音乐教育的促进作用——如全新体验中国传统乐器的应用程序和音乐界面，为使课堂互动更具参与性、游戏性和创造性而设计的课程和乐器。

大会组织者充分利用大量的在线工具，以确保线上参与者具备最佳体验。线上与会者使用消息平台Slack作为会议的主要交流平台，深度参与研讨会和论文展示，并通过Zoom观看主题演讲和全体会议。音乐方面的活动在Youtube和Bilibili上举办，与会者还使用一个受游戏启发的二维空间音频会议平台——gather.town，用虚拟化身进行视频聊天。

下面是研讨会的精彩片段。

李荣锋

多数拥有手机的人都不难发现，有不少应用程序是针对钢琴、吉他及其他西方乐器开发的，但有多少是专门针对中国传统乐器的呢？北京邮电大学数字媒体与设计艺术学院数字媒体技术教研室主任李荣锋认识到这一差距，他开发了一个高品质的应用程序，在移动设备上模拟中国传统乐器——扬琴、独弦琴和笙的演奏。

中央音乐学院副院长、音乐心理学家周海宏教授设计了一种轻巧可折叠的双键盘乐器，名为Walkband。作为一种音乐界面模型，它可在课堂上实现多种创新可能性，如集体教学和合奏。使用者可以在行走时穿戴和演奏，也可以将它展开成两个独立的键盘，两位演奏者可借此进行二重奏。Walkband有一个弯音轮，可模仿中国传统乐器的滑音，每个键可以演奏96种打击乐器中的一种。目前，周海宏教授正在开发一门小学课程，并定期开办实验班，以在国内普及音乐教育。

清华大学博士生王韫介绍了VORTEX的软件和硬件设计过程。VORTEX是一个有形的陶瓷音乐界面，当人手触碰它时，会发出古筝的音色。若用它演奏乐句，用户需用双手以相反的方向移动手指来调制两条音轨，动作越快，演奏的节奏就越快。每一次对不同模块的触摸都会产生一层新的触觉信息，并为音乐增加一个新的感官轨道，大大丰富用户的体验。

“平滑、颗粒感和温暖常是与音乐体验紧密相连的触觉感受，”王韫说，“然而，没有经过专业音乐训练的观众在听音乐时激活的感官渠道有限，因此他们很难理解声音的质感和音乐家的技术之间的关系。这种音乐界面可能是研究未来沉浸式音乐表演和体验的潜在方向。”

三名来自杭州云谷学校的16岁学生在校音乐协调员单伊俊创立的声音实验室社团中，设计了作品“女性的标签”（HER，Has Equality Re-set?）。“女性的标签”汇集了线上混合和编辑的各年龄段女性的 “日常生活 ”声音片段。在单伊俊的指导下，学生Gabrielle、Vicky和Sakura使用AIVA人工智能音乐、亚马逊深度合成器和VCV等技术，探索创造性的声音效果，展现女性生活的各个阶段，表达了对社会压力和性别不平等的思考。

“令我惊讶的是，我们的学生不仅关注技术的应用与设置，而且还通过技术展现了他们的思想与观点。”单伊俊说道。

"从作品形式来看，声音装置与计算机音乐及电子音乐有很大区别。前者是空间艺术，后者是舞台艺术。"四川音乐学院实验艺术学院副院长白小墨教授说。白小墨教授是一位新媒体艺术家和声音工程师，他研究了20世纪以来的全球空间艺术作品，在继续探索当代音乐和电子音乐之间关联的同时，创作了自己的装置作品。“声音装置创作者遇到的问题是：如何从不同的时间窗口，给观众留下一个完整且统一的印象？”

杨星星和王红瑞

一个简单的拍子或一段简单的旋律，即可由人工智能生成一首完整的歌曲。斯坦福大学的软件工程师和音乐家杨星星，以及复旦大学的音频算法工程师王红瑞展示了作品 "AutoBand"。这是一个实时互动程序，使用人工智能来生成节奏、旋律、伴奏和表情记号。她们的程序受到GrooVAE、MusicRNN和MusicVAE等开源项目的启发，展示了机器学习在人类与人工智能合作下的创造性应用。

扫描二维码收听Autoband的互动演示

徐枝新

对计算机音乐可能性的拓展似乎是无止境的。在上海交通大学任教的作曲家、声音艺术家和计算机音乐学者徐枝新重点关注RTcmix——一种基于谷歌云运行的音乐编程语言。基于云技术，他提出了一个更流畅的替代方案，以取代当下使用的、尤其是在游戏设计中使用的众多 “繁琐”的音乐编程语言。

Michael Sobolak

Michael Sobolak目前在中国深圳荟同学校及其工作室教授器乐、电子音乐和DIY音乐创客空间课程。他设想在未来所有年龄段的学生能有更多接触、体验音乐的机会。受 "创客运动 "的启发，他正在设计一门培养学生的创造力、表达力和表现力的课程，希望这些学生能用自己发明的乐器大胆想象、设计、建造和表演。

“将音乐技术应用在教育中可以提高学生的艺术能力和科学技能，用技术的形式改变音乐学习场景，可以使创造力得到充分体现。”上海音乐学院副教授秦毅说。她展示了一套互动乐器设计模型，可演示颜色识别、距离/声音/光线感应等感应技术，并介绍了一个适合学习和操作的图形化编程界面。这个模型，可以更方便学生设计自己的智能乐器。这使得音乐学习更加高效、便捷且有趣。

2021年度NIME大会由 Abelton、Populele、bela、Tinkamo和上海纽约大学赞助。

▼

推 / 荐 / 阅 / 读

首届互动媒体艺术研究生毕业作品展与毕业典礼

上纽大2021春季音乐会精彩上演

欢迎关注商科硕士项目公众号

Click "Read More" (阅读原文) below for the English version