行业观察 | 大语言模型能否实现机器翻译同传？

今天小编给大家带来了有关大语言模型的热点追踪，大家走过路过不要错过~大语言模型到底是否能实现机器翻译同传呢？跟随小编一起来探索吧！

2023年9月13日，澳大利亚莫纳什大学（Monash University）的一个研究小组发布关于大语言模型（LLM）执行机器翻译同传功能的研究报告，研究人员将该功能称之为SimulTM。

(图片来源: https://slator.com/can-large-language-models-do-simultaneous-machine-translation/）

莫纳什大学的团队提出了一种所谓的“混合政策”，使大语言模型能够在无需额外培训的情况下执行SimulMT。他们最初注意到，大语言模型在离线机器翻译（MT）任务中表现出极具竞争力的性能，尤其是在高资源语言方面。但据作者称，在SimulMT中还没有使用大语言模型的成功案例，因为SimulMT需要在输入文本时进行实时翻译。

作者指出：“与离线翻译不同，在SimulMT中，源文本会随时间推移逐渐累积，而翻译模型则需要同步渐进地提供翻译。在这个过程中，模型需要有一定的策略来决定是进行读取（READ）还是写入（WRITE）操作。”

为了应对这些挑战，研究人员将传统的同传模型与“wait-k”策略和增量解码相结合，设计出一种为大语言模型量身定制的混合策略。

混合策略的“wait-k”部分指示计算机在开始翻译之前要读取多少内容，而“增量解码”部分则告诉计算机在阅读更多内容之前，需要翻译多少内容。

同步微调（SFT）

这一策略在一定程度上使大语言模型能进行同声传译，作者还通过同步微调（SFT）探索了进一步的改进措施。他们观察到，最初的策略可以部分缓解源文本上下文不完整导致的错觉等问题，但也注意到该模型存在产生局部连贯但不正确的翻译的情况。

为了缓解模型尝试补全的倾向，他们创建了一个前缀到前缀数据的数据集，该数据集由截断为不同长度的源句组成。使用了ChatGPT来生成相应的目标前缀，然后将其整合到多语言训练集中。

评估用到了MUST-C数据集内的九个语言对。所有语言对都以英语为源语，由TED演讲语音数据组成。每个语言对的训练集包含10万到20万个样本，以及2000个测试样本。训练集的总规模达到190万个样本，包括另外9000个前缀样本在内。采用SimulEval工具包进行评估，评估指标包括针对翻译质量的BLEU和针对延迟情况的LAAL。使用Llama2-7B-chat模型作为大语言模型。

结果表明，新方法使大语言模型在同步解码过程中实现了其固有的离线翻译性能。经同步微调（SFT）之后，模型性能优于专用的同传模型，同时保持了较低的延迟。增加前缀训练后，低延迟情况下的性能略有提高。

研究者写道：“在今后的工作中，我们计划在更广泛的大语言模型和不同语言中验证这种方法，并探索其与语音模式的整合。”

作者：Minghan Wang，Jinming Zhao，Thuy-Trang Vu，Fatemeh Shiri，Ehsan Shareghi，Gholamreza Haffari

以上就是大语言模型能否实现机器翻译同传的有关讨论，大家还有什么想法呢？希望能给大家带来收获，感谢大家的耐心观看！

声明：本公众号转载此文章是出于传播行业资讯、洞见之目的，如有侵犯到您的合法权益，请致信：[e-mail]，我们将及时调整处理。谢谢支持！【语言服务行业】分享群

群内会定期推送语言服务行业最新动态、活动预告、竞赛通知📝等内容~

欢迎你的加入🥰！

-END-
本文转载自：国际翻译动态转载编辑：Pickey关注我们，获取更多资讯！

往期回顾

行业动态1. 论坛预告 | 全球视野下国家战略传播与翻译专业人才培养创新论坛（2号通知）
2. 会议邀请 | 第二十届全国科技翻译研讨会
3. 2023年国家社科基金 | 翻译类项目立项名单公示4. 行业动态 | Localazy推出协作式翻译记忆库5. 论坛预告 | 2023·海南国际翻译产业与人才发展论坛三号公告

行业洞见

行业技术

精品课程

资源干货

招聘就业1. 博硕星睿 | 办公室实习助理招聘（北京）
2. 博硕星睿 | 好的平台，“职”等你来3. 译者招募丨英译中，经济学（有署名）4. 招聘快报 | CNBC财经电视台上海分公司招聘发行部助理实习生5. CATTI备考在即，备考实习两不误，硬核语言专业线上实习机会来了！