香港，中国香港 – 在人工智能音乐创作领域，香港科技大学（HKUST）与Multimodal Art Projection（M-A-P）团队携手推出了一款引人注目的开源AI音乐生成模型——YuE。这款模型能够将歌词转化为完整的歌曲，并支持多种音乐风格和语言，为音乐创作带来了全新的可能性。
YuE：不仅仅是AI音乐生成
YuE并非简单的音乐生成工具，它代表着AI技术在音乐创作领域的一次重要突破。该模型支持流行、金属、爵士、嘻哈等多种音乐风格，并涵盖英语、中文、日语和韩语等多种语言，极大地拓展了音乐创作的边界。更令人兴奋的是，YuE能够生成长达5分钟的完整歌曲，这在以往的AI音乐生成模型中并不常见。
技术解析：YuE背后的创新引擎
YuE之所以能够实现如此强大的功能，离不开其独特的技术原理：
- 语义增强音频分词器： 通过该技术，YuE能够降低训练成本并加速收敛，更深入地理解歌词的语义信息，并将其与音乐信号相结合，从而生成更符合歌词内容的音乐。
- 双分词技术： 这一创新技术实现了音轨同步的声乐-乐器建模，使得模型在生成主唱部分的同时，能够同步生成合适的伴奏，确保两者在节奏和旋律上的协调性。
- 歌词链式思维生成： YuE引入了歌词链式思维生成技术，支持模型在遵循歌词条件的情况下逐步生成整首歌曲，更好地处理长上下文信息，确保生成的歌曲在整体结构上保持连贯性。
- 三阶段训练方案： YuE采用了三阶段训练方案，确保更好的可扩展性、音乐性和歌词可控性。这一方案包括基础模型训练、风格和情感对齐以及偏好纠正，最终确保生成的音乐更符合人类的审美标准。
应用场景：无限可能
YuE的应用场景十分广泛，涵盖了音乐创作、影视与视频制作、游戏音乐以及社交媒体内容等多个领域：
- 音乐创作： 音乐创作者可以利用YuE快速生成旋律和伴奏，激发创作灵感，并根据用户提供的歌词，生成符合其情感和风格需求的个性化歌曲。
- 影视与视频制作： YuE可以为电影、电视剧和短视频生成背景音乐，匹配不同场景的情感和氛围，甚至可以为广告制作朗朗上口的铃声，有效传达品牌信息。
- 游戏音乐： 为游戏生成匹配场景的背景音乐，增强游戏的沉浸感。
- 社交媒体内容： 为TikTok和Instagram等平台上的短视频生成独特的背景音乐。
开源的魅力：人人皆可参与
YuE最大的亮点之一在于其完全开源的特性。这意味着用户可以自由使用和修改代码，根据自身需求进行定制和优化。这种开放性不仅降低了音乐创作的门槛，也为AI音乐生成领域的发展注入了新的活力。
项目地址：
- 项目官网：https://map-yue.github.io/
- GitHub仓库：https://github.com/multimodal-art-projection/YuE
- HuggingFace模型库：https://huggingface.co/m-a-p/YuE-s1-7B-anneal-en-cot
结语
YuE的发布标志着AI音乐生成技术迈向了一个新的阶段。它不仅为音乐创作者提供了强大的工具，也为AI技术在艺术领域的应用开辟了更广阔的前景。随着技术的不断发展，我们有理由相信，AI将在未来的音乐创作中扮演越来越重要的角色。
参考文献：
- Multimodal Art Projection. (2024). YuE: An Open-Source AI Music Generation Model. Retrieved from https://map-yue.github.io/
- GitHub Repository: multimodal-art-projection/YuE. Retrieved from https://github.com/multimodal-art-projection/YuE
- Hugging Face: m-a-p/YuE-s1-7B-anneal-en-cot. Retrieved from https://huggingface.co/m-a-p/YuE-s1-7B-anneal-en-cot
Views: 2