VoxCPM 重磅开源：可生成超级逼真的真人语音，甚至各种方言！

主要观点总结

本文主要介绍了VoxCPM，一个由面壁智能与清华大学深圳国际研究生院人机语音交互实验室联合研发的语音生成基座模型。它在合成语音的自然度、音色相似度及韵律表现力方面达到了SOTA水平，拥有高质量和丰富表现力的声线，并能实现零样本声音克隆。此外，VoxCPM在推理效率、文本理解和表达、声音复刻等方面也表现出色。

关键观点总结

关键观点1: VoxCPM模型的特点和性能

VoxCPM是一个端到端的扩散自回归语音生成模型，旨在从输入文本直接合成高质量的连续语音表征。它在音色相似度、词错误率等方面达到了业界SOTA水平，且推理效率高，支持流式输出。此外，VoxCPM还具备超拟人的听感和文本理解能力强等特性。

关键观点2: VoxCPM的实际应用效果

VoxCPM能够根据实际文本内容生成不同风格、腔调、韵律的音频，包括天气预报播报、英雄演讲、方言主播等。此外，它还支持中英文双语声音复刻和公式、符号音频合成。

关键观点3: VoxCPM的架构和训练方式

VoxCPM的核心架构包括局部音频编码模块、文本-语义语言模型、残差声学语言模型、局部扩散生成模块等四大模块。整个模型以端到端方式联合训练，通过优化扩散损失来改进所有模块。此外，系统还包含一个因果式VAE编解码器，用于将原始音频波形压缩至低帧率的隐空间，并将生成的语音表征重构回波形信号。