Google提出AudioPaLM：一个可以说话和听的大型语言模型。

- AudioPaLM是一个大型语言模型，用于语音理解和生成

- AudioPaLM将基于文本和基于语音的语言模型PaLM-2和AudioLM融合成一个统一的多模态架构，可以处理和生成文本和语音

- AudioPaLM继承了AudioLM中保存语音特征的能力，同时也具备文本大型语言模型PaLM-2中存在的语言知识

- AudioPaLM使用文本大型语言模型的权重初始化可以提高语音处理的性能

- AudioPaLM在语音翻译任务中表现出色，具有零-shot语音到文本翻译的能力

- AudioPaLM还展示了语音语言模型的特点，例如基于短语音提示跨语言转移声音

- 该方法的示例

https://google-research.github.io/seanet/audiopalm/examples