3D生成模型微调完全指南

背景介绍

3D 生成技术在机器人、仿真和娱乐领域应用广泛，但统一各种文件格式和表示方法一直是个难题。虽然 TRELLIS.2 模型改善了 3D 结构表征，但通用模型在处理特定任务时往往无法生成准确的几何形状，例如在生成鞋子时，基础模型经常会把鞋底细节做错。

实施方案

作者使用了包含 188 件鞋类物体的 Google 斯堪尼斯对象数据集子集。为了在避免遗忘原有能力的同时高效适配模型，他们将 LoRA 适配器专门应用到了稀疏结构流 DiT 和形状流 DiT 组件中，同时冻结了纹理生成阶段。整个训练过程通过 Hugging Face Jobs 在 A100 GPU 上运行，或通过 Docker 在本地执行。

实验结果

在测试集上的量化评估显示出显著改进。微调后的模型平均 F 分数从基础模型的 0.276 提升到了 0.803，倒角距离（Chamfer distance）从 0.174 降至 0.033，法线一致性也有所提高，证明了有针对性的微调能够成功让通用 3D 模型适应特定的物体类别。