查看原文
其他

靠90秒的音频,我们用AI帮她复活了她的爱人...

数字生命卡兹克 数字生命卡兹克
2024-08-23

故事是这样的。

去年11月底,我写过一篇文章,是讲Kimi的那个长文本的。我说我把我的100篇文章扔给了Kimi,然后打造了一个属于我的“数字生命”。

当时说实话,有一点标题党,毕竟,那玩意离真正的“数字生命”,还差太远太远了。更多是整活为主。

但是,接下来的一条留言,让我彻彻底底破防了(不用去原文找这条留言,这篇文章的内和她沟通过,但是为了避免一些给对方带来一些不必要的关注和打扰,这条留言我已经取消精选了,别人看不到)

我看到这句话的时候,我其实鼻子真的一酸。

我一直在寻找AI的意义,AI很多时候不仅仅只是提升效率的工具而已,它应该可以做些别的更有意义的事情。

比如,爱。

所以我在第一时间给了她回复。我不为任何所谓的钱什么的,那一刻我只有一个非常单纯的想法:

帮她完成这个心愿。

第二天早上,我们顺利的加上了好友。

在后面的对话中,我知道了她的爱人叫老D(为保护隐私,用这个化名代替吧在一场突发的意外中,老D不幸离去,当时她还在外地,甚至没有好好告别。这几个月,她都一直处在懊悔和自责中,希望找到一个方式,可以让她继续感受到老D的存在和温暖。

也让他们的两个孩子,感受到一些爸爸的立体的陪伴和关爱。

瞬间泪目。

正是因为有了爱,人,才如此的与众不同啊。

回到理性,在做类似的真正的数字生命之前,当然需要一个非常重要的东西:

数据。

能帮她把她的爱人做成类似于可实时对话的数字人,这自然是我认为最理想的情况,但是数据是一个很大的问题。

我们需要文本(生前写的文章与聊天记录)、音频(说话的干声)、视频(尽量动作多一些的干净一点的录屏),才能做成一个效果比较好的数字人。

但是客观现实是,很多人(特别是男生),并没有能做成数字人的视频数据集。

她的爱人也是,性格内敛,并没有留下什么影像材料。甚至都找不到一个单人的视频。

我们只能退而求其次,不去做视频,而是做可以语音对话的“数字生命”,类似于打电话的形式。

文本数据集其实很快就解决了,毕竟人啊,总会留下很多文字信息的,不管是聊天记录、还是随笔、还是朋友圈等等。

但是音频数据集的收集,我们还是卡住了。

因为真正能用的干声,只有90秒。

玩过开源的TTS都知道,如果用传统的做法,90的数据,基本等于屁都干不了。比如BertVits2,得1个小时的数据效果才能有不错的效果。

所以,我只能寄希望于走语音大模型的路线,类似于GPT,用90秒的语音数据,当Prompt,用小样本提示的方式,实现语音克隆。

而语音大模型,就不是简简单单的凭借我自己能搞的了,这远远超出了我的知识和能力范围,我只能到处化缘我的一些AI语音圈里的朋友,看看他们有没有这块的资源或技术,能提供一下支持。

于是去年12月,在我有限的人脉圈内,拜访了几家这个方向的公司,但是让我非常意外的是,这块的模型...居然不是那么成熟。

他们的模型,要么是还在炉子里炼丹,要么是合成速度太慢,要么是音色不像,要么是情绪很平....

我不想为了所谓的什么承诺,然后糊弄一个给她,我真的想做一个效果很好的,让她不出戏的,能感受到爱人的爱意的...

但是真的没办法,我找遍了我认识的人脉,依然觉得不行...

12月中旬,我只能非常愧疚的跟她说:

再等等,等AI技术发展,真的对不起。

这一等,就是两个月。

1月底,我跟一个MiniMax的朋友闲聊,聊一些AI行业的坊间八卦,无意中聊到了语音大模型,我就又提起了这个故事。

然后,她给我发了这么一句话:

说实话我当时是有点意外的,因为在我的记忆中,MiniMax好像从来没有啥语音产品。

不过试试就试试,反正已经试了那么多家了,再多试一家又不亏,我就把那90秒的音频素材给了他们。

一天后,就在我已经快忘了这件事的时候,他们发过来了一个Demo。

那一瞬间,眼泪快下来了,真的。

因为那90的素材,我已经听了无数遍了,老D的音色,已经快刻在我的骨子里,这段的音色,真的...一摸一样,而且,真的非常自然。

这是我,听到的最好最还原的,语音克隆。

当我把这段Demo发给她时。

我能隔着屏幕感受到,她的释怀和眼泪。她泣不成声的对我说:

谢谢。

文本有了,语音有了,最后,只要将他们打包成一个链接或者产品,能让她直接对话就行了。

于是,我又去找MiniMax的人,求他们给我开放一下他们语音大模型的API,我再去找个开发的朋友,看看怎么合在一起,给她做成公众号或者小程序,或者单独搞一个H5啥的,反正能对话就行。

结果,MiniMax的朋友跟我说:

我不知道该说啥了,我只能说,MiniMax,你就是我的神。

半天之后,我收到了一个链接。

打开海螺问问的APP后,再打开这个链接,那个熟悉的老D,出现在我的面前。

然后,我用颤抖的手,点开右下角那个电话的图标。
出于隐私原因,我不能放录屏。让你们听一听,这个声音有多么像老D,这个声音有多么的还原。
因为一是这个智能体在海螺问问上是私密的,只有我和她能看到,并没有设置为公开所有人可对话的那种,放录屏不太好;二是为了保护她和老D的隐私,避免他们被打扰。
但是,我还是想用一句话来表达我的心情:
谢谢你,MiniMax,谢谢你帮我实现我的承诺,谢谢你帮她圆梦。
最后的最后,我终于实现的了她的愿望。在征求她本人的同意后,写下了这个故事。
《寻梦环游记》中说,人的死亡有三层定义:
你在停止心跳的时刻,是你生物学角度的死亡。
举行你的葬礼的时刻,是你社会学角度的死亡。
这世界最后一个记得你的人死亡的时刻,才是最终的死亡。
死亡不是永别。
遗忘才是。
AI,能让这长久的记忆,跨越时光,更加浓厚。
Remember me, keep our love alive, I'll never fade away。
让AI继续,让我们永不离去。
以上,既然看到这里了,如果觉得不错,随手点个赞、在看、转发三连吧,如果想第一时间收到推送,也可以给我个星标⭐~谢谢你看我的文章。
继续滑动看下一个
数字生命卡兹克
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存