引言
在当今数字时代，3D内容的生成和处理已成为虚拟现实（VR）、增强现实（AR）、游戏开发、影视制作等众多领域的核心需求。然而，高分辨率3D模型的生成一直面临计算效率低、训练成本高的挑战。南京大学、复旦大学、DreamTech和牛津大学的研究人员联合推出的Direct3D-S2框架，为这一问题提供了创新的解决方案。该框架基于稀疏体积表示和空间稀疏注意力（SSA）机制，大幅提升了3D生成过程的效率和质量。本文将深入探讨Direct3D-S2的技术原理、主要功能及其广泛的应用场景。
主体
Direct3D-S2是什么？
Direct3D-S2是一个高分辨率3D生成框架，由南京大学、复旦大学、DreamTech和牛津大学的研究人员共同开发。该框架旨在解决高分辨率3D内容生成中的计算效率和训练成本问题，通过创新的空间稀疏注意力（SSA）机制和稀疏体积表示，显著提高了扩散变换器（DiT）的计算效率。
主要功能
-
高分辨率3D形状生成
Direct3D-S2支持从图像生成高达1024³分辨率的3D形状，生成的3D模型具有精细的几何细节和高视觉质量。 -
高效的训练与推理
该框架显著提高了扩散变换器（DiT）的计算效率，降低训练成本。在1024³分辨率下，仅需8个GPU即可进行训练。 -
图像条件的3D生成
Direct3D-S2支持基于图像的条件生成，可以根据输入图像生成与之对应的3D模型，为用户提供个性化的3D内容生成体验。
技术原理
-
空间稀疏注意力（SSA）机制
SSA机制将输入token按3D坐标分块，基于稀疏3D卷积和池化操作提取块级全局信息，减少token数量，提高计算效率。通过压缩模块的注意力分数选择重要块进行细粒度特征提取，优化计算资源的使用。基于局部窗口操作注入局部特征，增强局部特征交互，提高生成质量。最后，基于预测的门控分数聚合三个模块的输出，生成最终的注意力结果。 -
稀疏SDF变分自编码器（SS-VAE）
SS-VAE使用稀疏3D卷积网络和Transformer网络相结合的方式，将高分辨率稀疏SDF体积编码为稀疏潜在表示，基于解码器重建SDF体积。在训练过程中随机采样不同分辨率的SDF体积，提高模型对不同分辨率数据的适应能力，增强训练效率和泛化能力。 -
图像条件的扩散变换器（SS-DiT）
SS-DiT从输入图像中提取稀疏前景token，减少背景token的干扰，提高生成的3D模型与输入图像的一致性。基于条件流匹配（CFM）训练模型，预测从噪声样本到数据分布的速度场，实现高效的3D形状生成。
项目地址
- 项目官网: https://nju-3dv.github.io/projects/Direct3D-S2/
- GitHub仓库: https://github.com/DreamTechAI/Direct3D-S2
- arXiv技术论文: https://arxiv.org/pdf/2505.17412
- 在线体验Demo: https://huggingface.co/spaces/wushuang98/Direct3D-S2
应用场景
-
虚拟现实（VR）和增强现实（AR）
构建逼真的3D环境，创建个性化3D角色，融合现实场景用于教育和保护文化遗产。 -
游戏开发
快速生成高质量3D游戏资产，实现实时3D内容生成，根据玩家输入生成定制化内容。
Views: 0