Chupa：使用 2D 扩散概率模型雕刻 3D 穿衣人体

研究人员提出了一种新的3D人体生成方法Chupa。这种方法将扩散模型的生成能力与神经渲染技术结合，以创建多样化、逼真的3D人体。它可以轻松地推广到看不见的人体姿势，并显示真实的质量。

项目地址:https://snuvclab.github.io/chupa/

Chupa的核心创新在于，它从SMPL-X网格生成各种高质量的人体网格。由于人类身份、姿势和随机细节的多样性，3D人体网格的生成一直是一个具有挑战性的问题。Chupa将问题分解为2D法线贴图生成和基于法线贴图的3D重建两个子任务。

具体来说，Chupa首先使用姿势条件扩散模型同时为穿着人体的正面和背面生成真实的法线贴图。在3D重建阶段，Chupa通过网格优化和可微分渲染，根据法线贴图将SMPL网格“雕刻”成详细的3D人体网格。

为进一步提升质量，Chupa在身体和面部区域采用扩散重采样，生成逼真的数字人体。Chupa还集成了文本到图像扩散模型，实现基于文本的人体身份控制。总体而言，楚帕生成的3D人体网格具有更好的感知质量和身份多样性。

Chupa的核心功能:

1. 使用姿势条件扩散模型生成人体法线贴图

2. 基于法线贴图进行3D网格重建

3. 采用扩散重采样提升全身和面部质量

4. 集成文本到图像模型实现基于文本的身份控制