【大语言模型】ACL2024论文-05 GenTranslate: 大型语言模型是生成性多语种语音和机器翻译器
【大语言模型】ACL2024论文-05 GenTranslate: 大型语言模型是生成性多语种语音和机器翻译器
GenTranslate: 大型语言模型是生成性多语种语音和机器翻译器
目录
摘要
本文提出了一种新的翻译任务范式“GenTranslate”，它基于大型语言模型（LLMs）来从N-best列表中生成更好的翻译结果。该范式利用LLMs丰富的语言知识和强大的推理能力，整合N-best候选信息以产生更高质量的翻译结果。此外，为了支持LLMs的微调，作者构建并发布了一个包含超过592K个N-best假设-翻译对的HypoTranslate数据集，涵盖11种语言。在各种语音和机器翻译基准测试（例如，FLEURS、CoVoST-2、WMT）上的实验表明，GenTranslate显著优于现有最先进模型。
研究背景
随着大型语言模型（LLMs）的发展，多语种语音和机器翻译领域取得了显著进展。LLMs通过减少表示错误和整合外部知识，推动了多语种语音和机器翻译的发展。然而，现有的翻译任务通常使用束搜索解码和top-1假设选择进行推理，这些技术难以充分利用N-best假设中的丰富信息，对于需要单一、高质量输出序列的翻译任务来说并不理想。
问题与挑战
主要挑战在于如何充分利用N-best假设中的信息来生成更准确、更高质量的翻译结果。
如何解决
作者提出了GenTranslate，它通过LLMs整合N-best列表中的不同翻译版本，以生成更高质量的翻译结果。此外，为了微调LLMs，作者构建了HypoTranslate数据集。
创新点
- 提出了GenTranslate，这是一种新的利用LLMs生成高质量翻译结果的范式。
- 构建并发布了HypoTranslate数据集，支持LLMs的微调。
算法模型
GenTranslate基于LLMs，通过整合N-best假设来生成翻译结果。它使用适当的指令提示LLMs，并通过自回归方式进行优化。具体来说，GenTranslate的框架包括：
- 使用SeamlessM4T作为基础翻译模型，进行束搜索解码和假设生成。
- 利用LLMs整合N-best假设，生成最终翻译结果。
- 采用LLaMAAdapter进行LLMs的高效微调。
实验效果
在多个语音和机器翻译基准测试中，GenTranslate均显示出比现有最先进模型更好的性能。例如，在FLEURS、CoVoST-2、WMT等测试集上，GenTranslate的平均BLEU分数较基线模型有显著提升。具体数据如下：
- 在FLEURS X→En测试集上，GenTranslate的平均BLEU分数为34.6，而SeamlessM4T-Large为27.1，显示出3.0 BLEU的改进。
- 在CoVoST-2 X→En测试集上，GenTranslate的平均BLEU分数为41.7，而SeamlessM4T-Large为34.5，显示出7.2 BLEU的改进。
推荐阅读指数
★★★★☆
后记
如果您对我的博客内容感兴趣，欢迎三连击(点赞、收藏、关注和评论)，我将持续为您带来计算机人工智能前沿技术(尤其是AI相关的大语言模型，深度学习和计算机视觉相关方向)最新学术论文及工程实践方面的内容分享，助力您更快更准更系统地了解 AI前沿技术。
原文地址：https://blog.csdn.net/fyf2007/article/details/143442534
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！