靠90秒的音频,我们用AI帮她复活了她的爱人...
故事是这样的。
去年11月底,我写过一篇文章,是讲Kimi的那个长文本的。我说我把我的100篇文章扔给了Kimi,然后打造了一个属于我的“数字生命”。
当时说实话,有一点标题党,毕竟,那玩意离真正的“数字生命”,还差太远太远了。更多是整活为主。
但是,接下来的一条留言,让我彻彻底底破防了(不用去原文找这条留言了,这篇文章的内容我和她沟通过,但是为了避免一些给对方带来一些不必要的关注和打扰,这条留言我已经取消精选了,别人看不到)。
我看到这句话的时候,我其实鼻子真的一酸。
我一直在寻找AI的意义,AI很多时候不仅仅只是提升效率的工具而已,它应该可以做些别的更有意义的事情。
比如,爱。
所以我在第一时间给了她回复。我不为任何所谓的钱什么的,那一刻我只有一个非常单纯的想法:
帮她完成这个心愿。
第二天早上,我们顺利的加上了好友。
在后面的对话中,我知道了她的爱人叫老D(为保护隐私,用这个化名代替吧),在一场突发的意外中,老D不幸离去,当时她还在外地,甚至没有好好告别。这几个月,她都一直处在懊悔和自责中,希望找到一个方式,可以让她继续感受到老D的存在和温暖。
也让他们的两个孩子,感受到一些爸爸的立体的陪伴和关爱。
瞬间泪目。
正是因为有了爱,人,才如此的与众不同啊。
回到理性,在做类似的真正的数字生命之前,当然需要一个非常重要的东西:
数据。
能帮她把她的爱人做成类似于可实时对话的数字人,这自然是我认为最理想的情况,但是数据是一个很大的问题。
我们需要文本(生前写的文章与聊天记录)、音频(说话的干声)、视频(尽量动作多一些的干净一点的录屏),才能做成一个效果比较好的数字人。
但是客观现实是,很多人(特别是男生),并没有能做成数字人的视频数据集。
她的爱人也是,性格内敛,并没有留下什么影像材料。甚至都找不到一个单人的视频。
我们只能退而求其次,不去做视频,而是做可以语音对话的“数字生命”,类似于打电话的形式。
文本数据集其实很快就解决了,毕竟人啊,总会留下很多文字信息的,不管是聊天记录、还是随笔、还是朋友圈等等。
但是音频数据集的收集,我们还是卡住了。
因为真正能用的干声,只有90秒。
玩过开源的TTS都知道,如果用传统的做法,90秒的数据,基本等于屁都干不了。比如BertVits2,得1个小时的数据效果才能有不错的效果。
所以,我只能寄希望于走语音大模型的路线,类似于GPT,用90秒的语音数据,当Prompt,用小样本提示的方式,实现语音克隆。
而语音大模型,就不是简简单单的凭借我自己能搞的了,这远远超出了我的知识和能力范围,我只能到处化缘我的一些AI语音圈里的朋友,看看他们有没有这块的资源或技术,能提供一下支持。
于是去年12月,在我有限的人脉圈内,拜访了几家这个方向的公司,但是让我非常意外的是,这块的模型...居然不是那么成熟。
他们的模型,要么是还在炉子里炼丹,要么是合成速度太慢,要么是音色不像,要么是情绪很平....
我不想为了所谓的什么承诺,然后糊弄一个给她,我真的想做一个效果很好的,让她不出戏的,能感受到爱人的爱意的...
但是真的没办法,我找遍了我认识的人脉,依然觉得不行...
12月中旬,我只能非常愧疚的跟她说:
再等等,等AI技术发展,真的对不起。
这一等,就是两个月。
1月底,我跟一个MiniMax的朋友闲聊,聊一些AI行业的坊间八卦,无意中聊到了语音大模型,我就又提起了这个故事。
然后,她给我发了这么一句话:
说实话我当时是有点意外的,因为在我的记忆中,MiniMax好像从来没有啥语音产品。
不过试试就试试,反正已经试了那么多家了,再多试一家又不亏,我就把那90秒的音频素材给了他们。
一天后,就在我已经快忘了这件事的时候,他们发过来了一个Demo。
那一瞬间,眼泪快下来了,真的。
因为那90秒的素材,我已经听了无数遍了,老D的音色,已经快刻在我的骨子里,这段的音色,真的...一摸一样,而且,真的非常自然。
这是我,听到的最好最还原的,语音克隆。
当我把这段Demo发给她时。
我能隔着屏幕感受到,她的释怀和眼泪。她泣不成声的对我说:
谢谢。
文本有了,语音有了,最后,只要将他们打包成一个链接或者产品,能让她直接对话就行了。
于是,我又去找MiniMax的人,求他们给我开放一下他们语音大模型的API,我再去找个开发的朋友,看看怎么合在一起,给她做成公众号或者小程序,或者单独搞一个H5啥的,反正能对话就行。
结果,MiniMax的朋友跟我说:
我不知道该说啥了,我只能说,MiniMax,你就是我的神。
半天之后,我收到了一个链接。
打开海螺问问的APP后,再打开这个链接,那个熟悉的老D,出现在我的面前。