北京 – 在人工智能视频生成领域，字节跳动再次走在了前沿。该公司近日推出了名为MAGREF（Masked Guidance for Any‑Reference Video Generation）的多主体视频生成框架，该框架仅需一张参考图像和文本提示，即可生成高质量、主体一致的视频，为内容创作、广告制作等领域带来了新的可能性。
MAGREF的发布，标志着AI在视频生成领域又迈出了重要一步。相较于以往的视频生成技术，MAGREF最大的亮点在于其对多主体的处理能力。它不仅支持单人视频的生成，更能轻松应对多人互动以及人物与物体、背景的复杂场景，并且能保持视频中人物、物体和背景的协调性与一致性，有效避免了“多人同框串脸”等问题。
技术原理：区域感知动态掩码与像素级通道拼接
MAGREF能够实现如此强大的功能，得益于其独特的技术原理。该框架采用了区域感知动态掩码机制，在生成空间中构建一块空白画布，将输入的参考图（如人脸、物体、背景等）随机排列其中。为每张参考图生成一张空间区域掩码，指示图像在画布中的语义位置，从而引导模型理解“谁控制哪一块画面”。即使参考图数量和顺序不同，也能保持结构一致、身份不串、关系明确。
此外，MAGREF还采用了像素级通道拼接机制，将所有参考图在特征维度上逐像素对齐拼接，避免了传统 token 拼接可能引发的图像模糊或信息混叠问题。这一机制增强了视觉一致性，保持生成结果对姿态、服饰、背景等细节的精准还原。
为了确保训练过程中的身份一致性，MAGREF还采用了三阶段数据处理流程，包括筛选与字幕生成、主体提取与掩码标注、人脸识别与身份建模。
应用场景广泛，潜力无限
MAGREF的应用场景十分广泛，涵盖了内容创作与娱乐、教育领域、广告与营销、虚拟现实与增强现实、社交媒体与企业级应用等多个领域。
- 内容创作与娱乐： 个人短视频创作、创意视频制作、虚拟角色生成，及影视特效和游戏开发。
- 教育领域： 帮助学生基于历史重现、科学演示和语言学习视频，更直观地理解知识，增强教学效果。
- 广告与营销： 快速生成高质量的广告视频、品牌推广内容和电商直播素材，提升吸引力和互动性。
- 虚拟现实与增强现实： 增强虚拟现实内容的真实感，及将虚拟元素融入现实场景，提升用户体验。
- 社交媒体与企业级应用： 生成个性化视频、互动视频、企业宣传视频和培训视频，满足个人分享和企业推广需求。
基于DiT架构的统一模型
MAGREF构建在Diffusion Transformer（DiT）架构之上，引入掩码引导和通道拼接机制，实现一个统一模型适配多种复杂视频生成任务的能力。无需为不同任务单独设计模型，基于最小的架构改动和统一的训练流程，实现强泛化性与高可控性的平衡。
项目地址：
- 项目官网：https://magref-video.github.io/magref.github.io/
- GitHub仓库：https://github.com/MAGREF-Video/MAGREF
MAGREF的推出，无疑将推动AI视频生成技术的发展，为各行各业带来更多的创新和机遇。随着技术的不断进步，我们有理由相信，AI将在视频创作领域发挥越来越重要的作用。
参考文献：
- MAGREF项目官网: https://magref-video.github.io/magref.github.io/
- MAGREF GitHub仓库: https://github.com/MAGREF-Video/MAGREF
Views: 0