字节发表CLASI，同声传译智能体系统，媲美人类水平，超越商用产品

主要观点总结

本文介绍了CLASI，一个基于语言模型的端到端同声传译智能体。CLASI采用模仿人类口译员的策略，通过大规模预训练和持续训练，实现了人类水平的翻译能力。文章详细阐述了CLASI的关键技术，包括数据驱动读写策略、多模态检索增强生成、多阶段训练等。实验结果表明，CLASI在翻译质量、延迟等方面均表现出优异性能。

关键观点总结

关键观点1: CLASI的特点与优势

CLASI是一个基于语言模型的端到端同声传译智能体，通过大规模预训练和持续训练，实现了人类水平的翻译能力。其关键技术和特点包括数据驱动读写策略、多模态检索增强生成、多阶段训练等。CLASI能够从历史翻译和外部知识中进行上下文学习，为翻译提供足够的信息。

关键观点2: CLASI的训练过程

CLASI的训练过程分为预训练、多任务持续训练和多任务监督微调三个阶段。预训练阶段包括LLM和音频编码器的独立预训练；多任务持续训练阶段包括自动语音识别、语音翻译和文本翻译等任务；多任务监督微调阶段则通过人工标注数据进行微调，提高模型在SiST任务上的翻译质量。

关键观点3: CLASI的实验结果

实验结果表明，CLASI在翻译质量、延迟等方面均表现出优异性能。与现有的机器翻译评估基准相比，CLASI在VIP评估指标上表现出色，可实现实时语音的高质量翻译。此外，CLASI在多模态检索任务中也表现出良好性能。