浙大提出SIFU模型 单图即可重建高质量3D人体模型

要点:

浙江大学ReLER实验室提出的SIFU模型是一种单图即可重建高质量3D人体模型的侧视图条件隐函数模型，在几何与纹理重建测试中达到SOTA。

SIFU模型通过引入人体侧视图作为先验条件，并结合扩散模型进行纹理增强，成功解决了传统方法中在2D特征转换到3D空间和纹理预测阶段的问题，提高了重建精度和效果。

SIFU模型具有更强的鲁棒性，通过测试模型在估计人体先验模型不准确的情况下仍具有最好的重建精度，且适用于多个应用场景，如AR、VR、3D打印、场景搭建等。

近期，浙江大学ReLER实验室的研究人员提出了一项引人瞩目的研究成果:SIFU模型。该模型创新性地使用单张图片进行3D人体模型重建，通过引入侧视图条件隐函数和扩散模型，实现了几何和纹理重建的最先进水平。传统方法在处理2D特征到3D空间和纹理预测时存在不足，而SIFU模型成功地解决了这些问题，使得从单张图像准确重建高质量3D人体模型成为可能。

项目地址:https://top.aibase.com/tool/sifu

在模型的运行流程中，SIFU分为两个关键阶段。首先，利用侧隐式函数实现人体的几何和粗糙纹理的重建。独特的Side-view Decoupling Transformer在此阶段发挥关键作用，通过引入侧视图作为先验条件，从而在2D特征中解耦出人体不同方向的3D特征，从而提高了重建效果。其次，通过3D一致性纹理优化流程，借助预训练的扩散模型对纹理进行精细化，使得模型的纹理贴图更加精细和连贯。

实验部分展示了SIFU模型在几何和纹理重建方面的卓越性能。通过全面多样化的测试集，包括CAPE-NFP、CAPE-FP和THuman2.0，SIFU模型在定量评估中表现出最好的几何和纹理重建效果。此外，模型在面对有误差的人体先验模型时也展现出更强的鲁棒性，适用于真实世界中存在估计不准确的情况。

SIFU模型的应用场景广泛，包括3D打印、场景搭建、纹理编辑等。其高精度高质量的重建效果为多个领域提供了新的可能性，特别是在AR、VR等领域，简化了独立创作的过程，降低了成本，为未来的研究和应用提供了新的思路和方向。

SIFU模型的提出填补了以往在2D特征转换到3D空间和纹理预测时的不足，取得了令人瞩目的成果。其在单图即可重建高质量3D人体模型方面的优越性能，将为相关领域的发展带来新的动力。通过这一研究，浙江大学ReLER实验室为几何纹理重建领域注入了新的SOTA技术，为未来的科研和产业应用提供了坚实的基础。