阿里通义实验室开源InspireMusic，AI音乐创作新突破！

北京 — 随着人工智能技术的飞速发展，音乐创作领域也迎来了新的变革。近日，阿里巴巴通义实验室正式开源了其研发的音乐生成技术 InspireMusic，为音乐爱好者、专业音乐制作人以及开发者们打开了一扇通往 AI 音乐创作的新大门。

InspireMusic 是一项基于多模态大模型技术的人工智能音乐生成工具，旨在通过简单的文字描述或音频提示，快速生成多种风格的高质量音乐作品。这一技术的开源，无疑将加速 AI 音乐创作的普及，并激发更多创新应用的涌现。

核心技术与功能亮点

InspireMusic 的核心架构主要由以下几个部分组成：

• 音频 Tokenizer： 采用高压缩比的单码本 WavTokenizer，将连续的音频特征转换为离散的音频 token，为模型处理音频数据奠定基础。
• 自回归 Transformer 模型： 基于 Qwen 模型初始化的自回归 Transformer 模型，能够理解文本描述并预测音频 token，从而生成与文本提示相匹配的音乐序列。
• 扩散模型 (Conditional Flow Matching, CFM)： 利用基于常微分方程的扩散模型重建音频的潜层特征，从生成的音频 token 中恢复高质量的音频特征，增强音乐的连贯性和自然度。
• Vocoder： 将重建后的音频特征转换为高质量的音频波形，最终输出完整的音乐作品。

InspireMusic 具备以下主要功能：

• 文本到音乐的生成： 用户只需输入简单的文字描述，即可生成符合需求的音乐作品，极大地降低了音乐创作的门槛。
• 音乐结构和风格控制： 支持通过音乐类型、情感表达和复杂的音乐结构标签来控制生成的音乐，满足用户对音乐风格的个性化需求。
• 高质量音频输出： 支持多种采样率（如 24kHz 和 48kHz），能够生成高音质的音频，适用于专业音乐制作。
• 长音频生成： 支持生成超过 5 分钟的长音频，满足用户对更长音乐作品的需求。
• 灵活的推理模式： 提供 fast 模式（快速生成）和高音质模式，满足不同用户的需求。
• 模型训练和调优工具： 为研究者和开发者提供丰富的音乐生成模型训练和调优工具，促进技术的进一步发展。

应用场景展望

InspireMusic 的开源，预示着其在多个领域拥有广阔的应用前景：

• 音乐创作： 音乐爱好者和专业人士可以利用 InspireMusic 快速生成音乐素材、创作灵感，甚至完成完整的音乐作品。
• 音频生成与处理： InspireMusic 生成的高质量音频可用于影视配乐、游戏音效等领域，提升作品的艺术表现力。
• 个性化音乐体验： 用户可以根据自己的喜好，生成符合特定情感表达和音乐结构的音乐，打造独一无二的音乐体验。
• 教育与研究： InspireMusic 为音乐教育和人工智能研究提供了新的工具和平台，促进相关领域的创新发展。

开源与未来

阿里巴巴通义实验室选择开源 InspireMusic，体现了其拥抱开放、合作共赢的姿态。通过开源，InspireMusic 将能够汇聚全球开发者的智慧，不断完善和优化，推动 AI 音乐创作技术的进步。

目前，InspireMusic 的项目地址已在 Github 上公开（https://github.com/FunAudioLLM/InspireMusic），并提供在线体验 Demo（https://huggingface.co/spaces/FunAudioLLM/InspireMusic）。

随着 InspireMusic 的不断发展和完善，我们有理由相信，AI 音乐创作将在未来发挥更加重要的作用，为人们带来更加丰富多彩的音乐体验。

参考文献：

• FunAudioLLM/InspireMusic: https://github.com/FunAudioLLM/InspireMusic
• InspireMusic Demo: https://huggingface.co/spaces/FunAudioLLM/InspireMusic

>>> Read more <<<

Views: 0