其他
AI卷到音乐界,Meta免费开源AI生成音乐模型
前段时间,跟大家分享了Google推出的文本生成音乐的AI模型MusicLM,可惜它没有开源。最近Meta免费开源了一个新的AI生成音乐模型Audiocraft,我亲测了下,效果还是很不错的。以下内容为该模型生成的一首80年代流行歌曲,背景是重鼓:
Audiocraft简介
官方介绍:Audiocraft 是一个PyTorch库,用于音频生成的深度学习研究。该模型基于一种名为MusicGen的音乐生成模型,这是一个自回归的单级Transformer模型。MusicGen模型在32kHz的EnCodec分词器上进行训练,这使得模型能够以非常高的精度处理音乐数据。
快速体验
Audiocraft目前支持在线试玩,点击以下链接即可快速体验:
https://huggingface.co/spaces/facebook/MusicGen
在打开的链接中,支持2步操作。
首先,输入关键词(甚至支持中文);
其次,提供参考音频,AI会从中提取宽泛的旋律,然后模型将尝试遵循提供的描述和旋律。后续生成的所有样本均使用该旋律模拟生成。
本地部署
Audiocraft目前已开源,且支持本地部署,点击以下Github链接:
https://github.com/facebookresearch/audiocraft
找到“安装”模块,新建一个Python环境,然后输入下图中的代码即可本地部署。
之后在本地运行jupyter notebook来打开demo.ipynb文件,即可开箱使用。
文本生成音乐也在持续发力,感兴趣的朋友,可以去体验一下~
往期回顾
AI绘画相关:
补全AI绘画最后一块拼图 | 用ControlNet精准绘图
其他AI相关:
关注我,跟我一起疯狂学习AI,请在右下角点一下“在看”~