北京 – 阿里巴巴通义实验室语音团队近日发布了OmniAudio，一项从360°视频生成空间音频（FOA）的创新技术。这项技术旨在为虚拟现实（VR）和沉浸式娱乐提供更真实的音频体验，解决传统视频到音频生成技术无法满足3D声音定位需求的痛点。
OmniAudio：打造沉浸式音频体验的新引擎
OmniAudio的核心功能是从360°视频直接生成FOA音频，这是一种标准的3D空间音频格式，能够捕捉声音的方向性，实现真实的3D音频再现。FOA音频采用四个通道（W、X、Y、Z）来表示声音，其中W通道负责捕捉整体声压，X、Y、Z通道则分别捕捉前后、左右以及垂直方向的声音信息。这种设计确保了用户在头部旋转时，声音定位的准确性得以保持，从而大幅提升沉浸式体验。
技术解析：自监督预训练与双分支视频表示
OmniAudio的技术原理主要分为两个阶段：自监督的coarse-to-fine流匹配预训练，以及基于双分支视频表示的有监督微调。
1. 自监督的coarse-to-fine流匹配预训练：
由于真实FOA数据稀缺，研究团队利用大规模非空间音频资源（如 FreeSound、AudioSet、VGGSound 等），将立体声转换为“伪FOA”格式。具体来说，W通道为左右声道之和，X通道为左右声道之差，Y、Z通道置零。
随后，将转换后的“伪FOA”音频送入四通道VAE编码器获得潜在表示，并以一定概率进行随机时间窗掩码。模型通过最小化掩码前后潜在状态的速度场差异，实现对音频时序和结构的自监督学习。这一阶段使模型掌握了通用音频特征和宏观时域规律，为后续空间音频的精细化提供了基础。
2. 基于双分支视频表示的有监督微调：
在这一阶段，模型仅使用真实的FOA音频数据，并沿用掩码流匹配的训练框架，但此时模型的全部注意力集中在四通道的空间特性上。通过对真实FOA潜在序列进行更高概率的掩码，强化了对声源方向（W/X/Y/Z四通道之间的互补关系）的表征能力，在解码端提升了对高保真空间音频细节的重建效果。
此外，模型还与双分支视频编码器结合。针对输入的360°全景视频，使用冻结的MetaCLIP-Huge图像编码器提取全局特征；同时，从同一视频中裁取FOV局部视角，同样通过该编码器获取局部细节表征。全局特征经最大池化后作为Transformer的全局条件，局部特征经时间上采样后与音频潜在序列逐元素相加，作为逐步生成过程中的局部条件。
最后，在保持预训练初始化参数大致走向的前提下，高效微调条件流场，从噪声中精准地“雕刻”出符合视觉指示的FOA潜在轨迹。微调完成后，在推理阶段只需采样学得的速度场，再经VAE解码器恢复波形，就能输出与360°视频高度对齐、具备精确方向感的四通道空间音频。
应用前景广阔：VR、360°视频、智能助手、机器人等领域
OmniAudio的应用场景十分广泛：
- 虚拟现实（VR）和沉浸式体验： 为 VR 内容生成与视觉场景高度匹配的空间音频，增强用户的沉浸感。
- 360°视频配乐： 为360°全景视频自动生成沉浸式音效，使观众在观看视频时能获得更真实的听觉体验。
- 智能语音助手： 集成到智能家居设备中，如智能音箱、智能家电等，实现语音控制和交互。用户可以通过语音指令控制家电的开关、调节温度、查询信息等。
- 机器人和自动驾驶领域： 为这些系统提供更准确的声音定位和环境感知。
数据集与资源：
为了训练OmniAudio模型，阿里通义实验室构建了大规模数据集Sphere360，包含超过10.3万个视频片段，涵盖288种音频事件，总时长288小时，为模型训练提供了丰富资源。
项目地址：
- 项目官网：https://omniaudio-360v2sa.github.io/
- Github仓库：https://github.com/liuhuadai/OmniAudio
- arXiv技术论文：https://arxiv.org/pdf/2504.14906
结论：
OmniAudio的推出，标志着空间音频生成技术迈出了重要一步。它不仅提升了虚拟现实和沉浸式娱乐的体验，也为智能家居、机器人和自动驾驶等领域带来了新的可能性。随着技术的不断发展，我们有理由期待OmniAudio在未来能够带来更多创新应用，为人们的生活带来更丰富的感官体验。
参考文献：
- OmniAudio项目官网：https://omniaudio-360v2sa.github.io/
- OmniAudio Github仓库：https://github.com/liuhuadai/OmniAudio
- OmniAudio arXiv技术论文：https://arxiv.org/pdf/2504.14906
Views: 0