一键翻译视频！SoniTranslate 轻松生成多语言音频与字幕，满足教育、内容创作、跨文化交流需求！
🍹 Insight Daily 🪺
Aitrainee | 公众号：AI进修生
Hi，这里是Aitrainee，欢迎阅读本期新文章。
介绍一个不错的东西：SoniTranslate 。这是一个强大的视频翻译工具，支持将视频及其音频内容翻译成多种语言，并提供文本到语音（TTS）功能。用户只需简单上传文件，选择目标语言，指定发言者TTS音色，便能生成包含翻译后音频的新视频。
原视频
翻译后的视频
它的UI做得比较清爽（基于 Gradio 库构建）
并且功能非常丰富成熟，还拥有许多高级设置板块
可以上传视频或音频文件，或者提供 YouTube 链接作为你要转录的视频来源。支持中文在内的几十种语言翻译，包括一些较为冷门的语言。
生成的视频并带翻译后的字幕
只需要四步就可以将一种语言的视频，翻译成另外一种语言的视频，
并支持几十种各国TTS音色选择
并且支持自定义克隆自定义音色作为翻译音色。
视频中如果有多个人的话,也支持多人转录并设置不同的音色
除了视频以外它还支持文档一键翻译并生成音频。
使用方法1：Huggingface 免费空间（慢）
https://huggingface.co/spaces/r3gm/SoniTranslate_translate_audio_of_a_video_content
使用方法2：Colab部署（推荐）
去官方页面点击Colab笔记本
如下操作，第1步连接T4 GPU，在第4步填入
Huggingface APIkey（https://huggingface.co/settings/tokens/new?tokenType=fineGrained）即可部署成功
部署成功之后点击输出的url（SoniTranslate 网页界面），就可以看到操作界面了。
使用步骤
1. 上传文件：可以上传视频或音频文件，或者提供 YouTube 链接。
2. 选择语言：指定您希望翻译成的目标语言。
3. 设置发言者：根据视频中的发言者数量，选择适合每位发言者的 TTS 声音。
4. 点击翻译：按下 '翻译' 按钮，获取翻译结果。
支持的 TTS 引擎
• EDGE-TTS：快速而准确的语音合成。
• FACEBOOK MMS：生成自然声音，但速度较慢。
• PIPER TTS：优化的语音合成，支持 CPU 和 GPU。
• BARK：音质良好，但速度较慢，容易产生幻觉。
• OpenAI TTS：多语言支持，需要 OpenAI API 密钥。
• Coqui XTTS：支持多种语言的 TTS。
使用 R.V.C. 模型（可选）
1. 下载模型：使用 Hugging Face 或 Google Drive 的链接下载所需的 R.V.C. 模型。
2. 启用模型：在 TTS 到 R.V.C. 的选项中，勾选启用框。
3. 选择声音：为每个发言者选择适合的 R.V.C. 模型。
4. 应用配置：调整参数后，点击应用配置。
5. 翻译：返回翻译标签，点击 '翻译'
用户可以输入 HuggingFace 或 Google Drive 的链接，并选择多个链接进行批量下载。通过启用该功能，用户可以选择不同的 TTS（文本转语音）声音为不同的发言者配置，从而实现多角色语音替换。此外，系统还提供了测试 R.V.C. 模型的功能，确保语音转换效果良好。
商业应用
1. 教育领域：教师和教育机构可以利用该工具制作多语种教学视频，拓宽受众范围。
2. 市场推广：企业可将营销视频翻译成多种语言，以吸引全球客户。
3. 内容创作：视频创作者能够制作多语种内容，提升观看量和影响力。
4. 社交媒体：个人用户可以使用 SoniTranslate 分享多语言视频，增加社交互动。
个人应用
1. 语言学习：用户可以通过翻译的视频学习新语言，提高听说能力。
2. 内容分享：个人用户可以将旅行、生活等视频翻译成多种语言，与更多人分享。
🌟希望这篇文章对你有帮助，感谢阅读！如果你喜欢这系列文章请以 点赞 / 分享 / 在看 的方式告诉我，以便我用来评估创作方向。
[1] github：https://github.com/R3gm/SoniTranslate
[2] huggingface：https://docs.khoj.dev/features/share
[3] https://www.reddit.com/r/geoguessr/
知音难求，自我修炼亦艰
抓住前沿技术的机遇，与我们一起成为创新的超级个体
（把握AIGC时代的个人力量）
点这里👇关注我，记得标星哦～
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~