查看原文
其他

美到不像话,声音也能可视化

想喝咖啡的课代表 澎湃美数课 2021-07-30


提到 音乐或声音🎵 这些关键词,你会想到什么?

课代表的第一反应是音频动次打次的波动~~~

艺术家 Blair Neal 就以音频为基础,构建了音频山水地形,高频为山,低频为水,让音乐除了听觉还有视觉的享受。

 ⌂ Audio-generated landscape https://vimeo.com/2094557


而作曲家 ÓlafurArnalds 在十年前发布的这则视频里,把音符转换为色彩丰富的烟,但一旦播放完此音符,它就会褪去色彩,化成灰烟随风而去。


音乐、色彩和图形的优雅融合,完美地引入了具有代表性的抽象即数据可视化。 

数据可视化先驱爱德华·塔夫特 (Edward Tufte)说:“音乐可视化使眼睛和耳朵都听得到了声音”, 它既是音符的可视化表示,又是对音乐预期方式的可视化。 这是艺术和表演。

随着 3D 打印技术的出现,我们还可以让音乐可视化实体化。打印下来,放在家里就可以是一个小型音乐装置。

⌂ Blair Neal 作品

以上是艺术家们基于音乐的旋律的再次艺术创作。

还有什么优秀的声音可视化案例,跟着课代表一起来学习吧!


✦✧✧✧

环境音可视化


⌂ http://senseable.mit.edu/sonic-cities/

封城的日子里,城市是什么声音?

MIT可感知城市实验室反思COVID-19大流行期间,人类活动和城市公园自然环境的动态声景,因为疫情而封闭的城市是不是变安静了呢?

在《声波城市》(Sonic Cities)这个项目中,研究人员通过使用机器学习技术,分析了在世界各地主要公园散步所产生的声音,以识别声音的变化,例如人的声音,紧急警报器,街头音乐,自然之声(如鸟鸣,昆虫),狗吠和周围环境城市的噪音。研究人员从前几年的公园散步的 YouTube 视频中提取了音频文件,并将其与志愿者在 COVID-19 大流行期间沿同一路径记录的散步进行了比较。分析表明,鸟鸣声总体上增加了,而城市声音(例如驾车或建筑工程)减少了。

在映射路径上的不同点处,一条渐变线代表了安静和响亮声音的分布。在大疫情期间,更大声的声音似乎占据了更多空间。 

无论从统计角度还是从视觉角度来说,这都是一个有趣的实验,用户可以通过网页交互探索。

⌂ https://experiments.withgoogle.com/ai/bird-sounds/view/
不同种类的鸟发出不同的声音。 但是,鸟叫声是急促和相似的,以至于很难分辨出是什么。 因此,Kyle McDonald,Manny Tan 和 Yotam Mann chan 用机器学习给鸟的声音进行了分类。 通过交互,你可以播放声音并搜索鸟类类型,相似的声音彼此接近



⬅️向左滑动查看更多图片

还有设计师专门把鸟叫声视觉化,将伸展的树枝和鸟羽毛的颜色相结合,为我们绘制出了不同种类鸟儿的叫声图谱——树枝伸展的范围表示声量的大小,枝叶的数量代表频率。中间如珐琅拼贴画般的圆形图案则是用声音图谱绘制软件 Cymascope 所生成的,不同的图形圈表示鸟叫声中的不同声部,非常艺术性的创作。


✧✦✧

热门歌曲是如何创作的


纽约时报这则视频讲述的是2017年最流行的歌曲 《Shape of You》 是如何创作出来的。记者直接采访到了Ed Sheeran 本人和他的团队。与其坐下来干讲,还不如直接让 Ed 演示一下创作过程。

这则视频使用音乐可视化,把作品的旋律用图表表达出来。但是,没有干巴巴、孤零零的呈现这些旋律的可视化,而是直接叠加在实拍视频之上,增强了视频的吸引力。


很多流行的歌曲除了旋律动听或者节奏感很强,还有一个提高流行传唱度的秘诀,就是重复重复再重复。在这只VOX制作的视频里,图形和音乐非常有节奏感地完美。

✧✧✦

音乐剧可视化


⌂ https://pudding.cool/2017/03/hamilton/index.html

如果你听过《汉密尔顿》音乐剧,恐怕很难不被它的形式所震撼到。

数据可视化创作者 Shirley Wu 就深深被这个音乐剧吸引,她好奇《汉密尔顿》中主要角色之间的关系以及与这些角色相关的重复短语。挑出了音乐剧中9首歌曲,可以高亮一些人物找出他们共同演唱过的歌曲,以及对一些相同的歌词在不同部分出现,进行了分析。

⌂ https://pudding.cool/2017/03/hamilton/index.html

同样也是这个音乐剧,汉密尔顿在使用复杂的押韵歌词方面独树一帜。《华尔街日报》的Joel Eastwood 和 Erik Hinton 在算法上将歌词分解为声音,然后聚集成韵脚家族。

⌂ http://graphics.wsj.com/hamilton/

这些音节被可视化成一个个彩色的方块,放在类似“五线谱”的坐标系中。横坐标代表了音节出场的顺序,纵坐标则是不同的押韵音节。好的可视化表达能够简化背后的复杂算法和原理。

✧✧✧

人文可视化

⌂ https://www.manamana.net/video/detail?id=2373#!zh

来自江南大学的新媒体艺术团队TRIE,制作了echo planet 声音可视化装置,用新媒体技术让听障儿童通过视觉感官体验声音和自我的美。
听障儿童在话筒前发声,音量触发枝条生长和粒子数目等,频率控制颜色,高频暖色低频冷色,让这个应用场景下,数据可视化多了一份温情和感动。

如果喜欢我们的文章,欢迎点赞、在看和分享🥰

 

 



◒◡◒

┊推 - 荐 - 阅 - 读┊






    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存