SongCreator：基于歌词的通用歌曲生成

主要观点总结

本文介绍了清华大学人机语音交互实验室在NeurIPS 2024上发表的论文：SongCreator——基于歌词的通用歌曲生成。论文提出了一种创新性的歌曲生成框架，通过双序列语言模型及注意力掩码策略，实现了从歌词到完整歌曲的高效生成。论文还在多个任务上进行了广泛的实验验证，证明了SongCreator的优越性能。

关键观点总结

关键观点1: 研究背景与动机

音乐承载着人类的创造力与智慧，歌曲作为音乐的重要表达形式，具有独特的艺术魅力和广泛的文化影响力。尽管AIGC模型在文本、图像和语音等领域取得了巨大成功，但将其应用于歌曲生成仍面临挑战。SongCreator的出现，旨在降低音乐创作的技术门槛，为音乐创作提供更加高效且灵活的工具。

关键观点2: 主要贡献

提出了双序列语言模型（DSLM），在分别对人声和伴奏进行精细化建模的同时，通过动态的双向注意力机制捕捉二者之间的相互影响。设计了一系列灵活的注意力掩码策略，使DSLM能够统一地完成多种形式的音乐生成任务。基于上述创新，提出了多功能的音乐生成系统，不仅可以从简单的歌词生成高质量的歌曲或人声，还支持独立控制人声与伴奏的生成，并对歌曲进行编辑。

关键观点3: 实验验证

为了验证SongCreator的有效性，论文进行了大量的实验，包括客观指标评估（FAD、MCD、SECS）和主观评估（MOS测试、AB偏好测试）。实验结果表明，SongCreator在歌词到歌曲生成、歌词到人声生成等多个任务上显著超越了现有的音乐生成模型，展现了其强大的性能。

关键观点4: 结论

论文提出了一种创新性的基于歌词的歌曲生成框架SongCreator，通过DSLM和注意力掩码策略，实现了高效的歌曲生成。大量实验证明了SongCreator的优越性能，为未来歌曲生成的研究提供了新的思路和强大的工具。