北京 – 在人工智能领域，视频生成技术正以惊人的速度发展。近日，浙江大学与字节跳动联合推出了一款名为HumanDiT的姿态引导人体视频生成框架，引起了业界的广泛关注。这款框架基于扩散变换器（Diffusion Transformer，DiT），能够生成高保真、长序列的人体运动视频，为虚拟人、动画电影、沉浸式体验等领域带来了新的可能性。
HumanDiT：技术原理与核心优势
HumanDiT的核心在于其姿态引导机制。该机制通过关键点扩散变换器（Keypoint-DiT）生成后续姿态序列，从而保证视频中人体动作的连贯性和自然性。与传统的视频生成方法相比，HumanDiT能够更精准地控制人物的动作，避免了生成视频中常见的动作僵硬和不自然的问题。
此外，HumanDiT还引入了前缀潜在参考策略，通过将视频的第一帧作为无噪声的前缀潜在向量，供模型在生成过程中参考，从而在长序列中保持个性化特征。这意味着，即使是生成长达数分钟的视频，HumanDiT也能确保视频中的人物始终保持一致的外貌和风格。
HumanDiT还具备姿态适配与细化功能。通过姿态适配器，HumanDiT可以实现给定序列的姿态转移，而姿态细化模块则能够增强面部和手部特征与参考图像的对齐效果。这些功能使得HumanDiT能够生成更加逼真和精细的人体视频。
大规模数据集训练：泛化能力的基石
为了提升模型的泛化能力，HumanDiT在包含14000小时高质量视频的大型数据集上进行了训练。这些数据涵盖了多种人类动作场景，使得模型能够学习到丰富的运动先验。这意味着，即使面对新的、未知的动作，HumanDiT也能生成合理的视频。
HumanDiT的应用场景：无限可能
HumanDiT的应用场景十分广泛，以下是一些主要的应用方向：
- 虚拟人： HumanDiT可以用于生成虚拟人的动态视频，使其动作更加自然流畅。在虚拟客服场景中，虚拟人可以根据用户的提问实时生成相应的动作和表情，提供更加生动、逼真的交互体验。
- 动画电影： HumanDiT能生成高质量、长序列的人体运动视频，可以用于生成动画角色的动作序列，帮助动画师快速生成高质量的动作片段，提高制作效率。
- 沉浸式体验： HumanDiT可以用于构建沉浸式体验中的虚拟角色和动作。在沉浸式VR体验中，HumanDiT可以生成与场景匹配的人物动作和表情，让参与者感受到更加真实和生动的体验。
- 视频生成与续写： HumanDiT可以从单张图像生成视频，或者从现有视频中继续生成后续内容，为视频创作提供了新的思路和方法。
行业影响与未来展望
HumanDiT的发布，无疑将对人工智能视频生成领域产生深远的影响。它不仅为虚拟现实、动画电影等行业带来了新的技术支持，也为未来的视频创作提供了新的可能性。随着技术的不断发展，我们有理由相信，HumanDiT将在更多领域发挥重要作用，为人们的生活带来更多便利和乐趣。
项目地址：
关键词： HumanDiT，浙江大学，字节跳动，人工智能，视频生成，姿态引导，虚拟人，动画电影，沉浸式体验
参考文献：
- Agnjason, et al. (2024). HumanDiT: Human Motion Generation with Diffusion Transformer. arXiv preprint arXiv:2502.04847.
- HumanDiT项目官网: https://agnjason.github.io/HumanDiT-page/
（完）
Views: 0