摘要： 香港中文大学（深圳）、字节跳动和清华大学的研究人员联合推出了一款名为Hi3DGen的创新3D几何生成框架。该框架能够从2D图像生成高保真3D模型，在几何细节的生成方面显著优于现有方法，为游戏开发、影视制作、文物保护等领域带来革新。
北京 – 在人工智能领域，3D模型生成一直是备受关注的研究方向。近日，由香港中文大学（深圳）、字节跳动和清华大学的研究人员共同研发的Hi3DGen框架，为这一领域带来了新的突破。该框架能够从2D图像生成高保真3D模型，其生成的几何细节丰富程度远超现有技术，有望在多个行业引发变革。
Hi3DGen的核心功能与技术原理
Hi3DGen的核心在于其能够将2D图像转化为具有丰富细节的3D几何模型。为了实现这一目标，该框架采用了三个关键组件：
-
图像到法线估计器： 该组件通过噪声注入和双流训练，将图像的低频和高频模式解耦。低频模式负责整体形状和结构，高频模式负责细节和纹理。这种方法能够生成可泛化、稳定且锐利的法线图，为后续的3D几何生成提供高质量的中间表示。
-
法线到几何学习方法： 该方法基于法线图作为正则化手段，对潜在扩散模型进行训练。这增强了3D几何生成的保真度，使生成的3D模型能保留更多的细节。
-
3D数据合成管道： 通过构建高质量的3D数据集，用于训练模型，支持模型学习从2D图像到3D几何的映射关系。
Hi3DGen还采用了两阶段生成过程：
-
第一阶段：基础多视角生成。 使用预训练的视频扩散模型，通过额外的相机姿态条件进行微调，将单视角图像转换为低分辨率的3D感知序列图像（轨道视频）。
-
第二阶段：3D感知多视角细化。 将第一阶段生成的低分辨率多视角图像输入到3D感知视频到视频细化器中，进一步提升图像的分辨率和纹理细节。
此外，Hi3DGen还利用3D高斯散射（3DGS）从生成的高分辨率多视角图像中学习隐式3D模型，并通过基于SDF（Signed Distance Function）的重建方法，从增强的密集视图中提取高质量的3D网格。
Hi3DGen的应用前景
Hi3DGen的技术突破，使其在多个领域具有广阔的应用前景：
-
游戏开发： 快速生成高质量的3D游戏资产，如角色、道具和场景，大幅缩短开发周期。
-
影视制作： 用于创建逼真的3D特效和动画，节省传统建模的时间和成本。
-
3D可视化： 从不同角度查看和分析3D模型，适用于建筑设计、工业设计等领域，提升设计效率和沟通效果。
-
虚拟摄影： 生成不同视角的高质量图像，用于在线展示和营销，提升产品吸引力。
-
文物保护： 从文物的单张照片重建3D模型，用于数字化保存和研究，为文化遗产保护提供新的手段。
-
医学成像： 从医学图像（如X光、CT）生成3D模型，辅助诊断和治疗，提升医疗水平。
项目地址与未来展望
Hi3DGen项目已开源，研究人员可以在GitHub上获取相关代码和资料，进行进一步的研究和应用开发。
Hi3DGen的发布，标志着3D模型生成技术迈上了一个新的台阶。随着技术的不断发展和完善，相信Hi3DGen将在更多领域发挥重要作用，为人们的生活和工作带来更多便利和创新。
参考文献：
- Stable-X. (n.d.). Hi3DGen: High-Fidelity 3D Geometry Generation from 2D Images. Retrieved from https://stable-x.github.io/Hi3DGen/
- Stable-X. (n.d.). Hi3DGen GitHub Repository. Retrieved from https://github.com/Stable-X/Hi3DGen
（完）
Views: 10