查看原文
其他

一个怀揣蹦迪之心的日本程序员的人工智能动次打次圆梦之路 | 真鍋大度

清凉油 算法艺术实验室AALab 2019-08-05


一切要从一个不干寂寞,怀揣DJ梦想的程序员说起。


十多年前孤独的青年业余DJ,真鍋大度


真鍋大度,从小喜欢电脑游戏,大学时代的专业是数学,同时开始做DJ。毕业当了一段时间程序员后前往国际情报科学艺术学院(IAMAS)的数字信号处理(DSP)课程,学习最先端的程序设计。


https://v.qq.com/txp/iframe/player.html?vid=h0322c1kshn&width=500&height=375&auto=0

2008年真鍋大度的一段把声音信号转换成电流刺激,实现对面部表情的控制的视频在油管收获了上百万点击量,世界各地的青年们见证了人类迈向“人肉跳舞机”的第一步。



2012年真鍋大度用同样的装置,为这几年日益红火的迷幻电子小天使FaltyDL制作了全程手指抽搐的单曲《Straight & Arrow》的MV。这套魔性的装置很有可能成为未来,迪厅尬舞人的福音,跳不跳,怎么跳你说的不算,得听DJ的,三流DJ躁出百大的阵势不是梦。


《Straight & Arrow》的MV


真鍋大度的团队还研究无人机控制,可以同时操控24台无人机随着舞者的动作变幻飞行角度,在无人机上安装了可以变换颜色和亮度的灯, “人机共舞”不寂寞。



随后几年,真鍋大度的团队开始在舞台新媒体艺术上开挂,包揽了日本组合Perfume的一系列现场。为三个特别会跳的小姐姐打造了突破次元的VJ视觉效果,电音节舞台前面领舞的霹雳娇娃们面临下岗。


https://v.qq.com/txp/iframe/player.html?vid=y0515dbl0kn&width=500&height=375&auto=0



真鍋大度的团队合作将3D扫描,动作捕捉,计算机图形和投影结合在一起,通过SXSW音乐节舞台的三个半透明屏幕制造出“三次元”音乐现场体验。用三维扫描场地和Perfume的舞蹈,围绕这些模型设计基本的灯光。动作捕捉摄像机实时追踪舞者和摄像机,以精确的方式调整每一个摇摄和投影。


https://v.qq.com/txp/iframe/player.html?vid=o0515d9q0rx&width=500&height=375&auto=0


运用动作捕捉技术,真鍋大度今年与日本国宝级狂言师野村萬齋合作了的狂言剧《三番叟》。



涨姿势:狂言是一种兴起于民间,穿插于能剧剧目之间表演的一种即兴简短的笑剧,是猿乐能与田乐能的派生物。狂言与能一样,同属于日本四大古典戏剧。


野村萬齋穿戴关节处装有传感器的服装和道具做表演动作,以获取其动作和姿态的数据传入电脑



使用项量数据记录萬齋的重心移动变化,配合重心变化用立体影像技术制作背景CG


真鍋大度(右)德井直子(左)


“干掉”人类VJ之后,真锅大度并没有放弃对“人类DJ”的执念。虽然从大学开始一直在断断续续的玩票做DJ,但其放歌的水平远赶不上他在VJ上的成就。他联手qosmo工作室创始人新媒体艺术家徳井直生一起合作了人工智能DJ项目“2045”——一种使用人工智能来选择音乐的算法DJ。在项目早期,他们分析了超过8000万首歌,并以簇的形式表达,还开发了一个能同步运动传感器和播放列表的app。


艺术家和流派的分布图,右下方是techno和EDM的分布,可以看出这两种风格是很不一样的


观众入场以后,下载app并获取一个代表自己的二维码。各种传感器伸展在天花板上,感应观众的动作,酒精浓度,整个地板的温度和湿度。所有这些数据被发送到数据库并反映在音乐选择中。人工智能DJ可以通过运动传感器分析现场氛围。如果移动了很多,就代表很氛围热烈。还能通过酒精的测量值,有倾向性的选择播放列表。 


喝美了可以对电脑摄像头扫码,然后对着后面的方形传感器测试酒精浓度


人类DJ在这种地方能干嘛?

监测数据,调整生成的播放列表,喝酒,social,歇着...


十多年后,盯着从场地传感器实时收集的信息的人类DJ,真鍋大度和他的好伙伴——计算机


虽然犀利如叶师傅说过,这家伙运气和实力一样好,但是重点是后半句,有实力。



联 系 我 们

算法艺术实验室


探索数学与编程在设计与艺术中一切之可能

主营业务

科学艺术咨询 | 公共艺术 | 未来舞台美术 | 大数据可视化 | 设计人才猎头 | 品牌Event | 教育



    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存