引言
想象一下，未来某天，你只需输入一段简单的文字描述，就能立即生成一个逼真的3D模型。这听起来像是科幻小说中的情节，但现在，这一愿景正逐渐成为现实。近日，北京大学与小红书联合推出了文本到3D生成框架——Dive3D。这一创新技术不仅为3D内容创作带来了全新的可能性，还在多个行业中展现了巨大的应用潜力。
Dive3D是什么？
Dive3D是北京大学和小红书公司合作开发的文本到3D生成框架。该框架基于分数的匹配（Score Implicit Matching，SIM）损失，替代了传统的KL散度目标，有效避免了模式坍塌问题，显著提升了3D生成内容的多样性。在GPTEval3D基准测试中，Dive3D取得了优异的定量结果，证明了其在生成高质量、多样化3D资产方面的强大能力。
主要功能
多样化3D内容生成
Dive3D能够根据文本提示生成多种风格和细节的3D模型，避免了传统方法中常见的模式坍塌问题，即生成结果过于单一和相似。
高质量3D模型生成
该框架支持生成的3D模型具有较高的视觉保真度，包括精细的纹理细节、逼真的几何形状和合理的光照效果等。
良好的文本对齐能力
Dive3D支持生成的3D模型与输入的文本描述高度匹配，准确地反映文本中提到的各种元素和特征。
支持多种3D表示形式
Dive3D支持生成不同类型的3D表示，如神经辐射场（NeRF）、高斯点云（Gaussian Splatting）和网格（Mesh）等，满足不同应用场景和用户的需求。
技术原理
分数隐式匹配（Score Implicit Matching，SIM）损失
Dive3D的核心技术之一是SIM损失。传统的基于KL散度的损失函数会导致模式寻求行为，使生成模型倾向于生成高密度区域的样本，限制了生成的多样性。SIM损失直接匹配生成内容的概率密度梯度场（分数）和扩散先验的分数，避免了KL散度的问题，鼓励模型探索多个高概率区域，在保持保真度的同时提高了生成的多样性。
统一的散度视角框架
Dive3D将扩散蒸馏和奖励引导优化整合到一个基于散度的框架中。框架包括三个核心的散度损失：条件扩散先验损失（CDP）、无条件扩散先验损失（UDP）和奖励损失（ER）。通过合理地组合和调整损失的权重，在生成的多样性、文本对齐和视觉质量之间取得平衡。
基于扩散模型的优化
Dive3D用预训练的2D扩散模型（如Stable Diffusion）作为先验知识，基于多视图渲染将3D表示优化为与文本提示相匹配的2D图像。在优化过程中，迭代地对3D模型进行渲染、计算损失并更新模型参数，使生成的3D模型的渲染图像逐渐接近预训练扩散模型所期望的图像分布。
高效的优化算法
为提高优化效率，Dive3D引入了分类器自由引导（Classifier-Free Guidance，CFG）技术，在优化过程中更好地平衡文本条件和无条件的生成效果；基于合理设置噪声时间表和优化步长等参数，加快优化收敛速度，减少生成时间。
项目地址
- 项目官网：https://ai4scientificimaging.org/dive3d/
- GitHub仓库：https://github.com/ai4imaging/dive3d
- arXiv技术论文：https://arxiv.org/pdf/2506.13594
应用场景
游戏开发
Dive3D可以快速生成游戏中的角色、道具和场景。根据游戏剧本中的描述，自动生成具有不同风格和细节的游戏角色模型，减少美术设计的工作量。
影视制作
Dive3D为电影、电视剧和动画制作提供创意原型和概念设计
Views: 0