上海科技大学推人脸模型HACK 可高质量生成3D人物模型

内容概要:

HACK 是一个新的参数化人脸模型，可以高质量生成人物头部的几何模型。

HACK 解决了现有模型的问题，包括缺乏亚洲人数据、拓扑结构和表情变形体过于简化以及缺乏颈部运动的建模。

HACK 提供了更个性化和解剖学一致的颈部和喉部控制，实现了更准确和表现力更强的头部运动。

近日，上海科技大学、影眸科技和华中科技大学联合提出了一种全新的参数化人脸模型 HACK，旨在解决现有参数化人脸模型存在的问题。该模型可以实现对头部和颈部区域的全方位控制，尤其是颈部区域的个性化和解剖学一致的控制，提供了比现有模型更准确和表现力更强的结果。

传统的参数化人脸模型主要采用 PCA 等方法来生成人脸模型，但由于数据集主要以欧美面孔为主，缺少亚洲人数据，覆盖度不全。此外，在拓扑结构和表情变形方面过于简化，无法精细还原各种结构，也无法实现个性化控制运动。而 HACK 模型则通过参数化建立头部和颈部模型，解耦了颈部和喉部运动、面部表情和外观变化，实现了对头部的全方位控制。

项目链接:https://sites.google.com/view/hack-model

论文链接:https://arxiv.org/abs/2305.04469

GitHub:https://github.com/ZoneLikeWonderland/HACK-Model/

HACK 模型已经应用于影眸科技的3D 角色生成平台 ChatAvatar 中，并能够直接生成并导出用于 Unity、UE、Maya 等主流 CG 软件中的模型文件。此外，HACK 模型还具有多种可控制的参数，可以更好地呈现头部、颈部、喉部形状的多样性，实现了高度表现力和广泛的运动范围。

为了训练 HACK 模型，研究团队使用便携式实时3D 超声成像系统捕捉了颈椎相对于演员静止姿态的解剖正确位置，并建立了一个全面的数据集，包括颈椎关节和面部网格、大规模静息 mesh、喉部几何形状、表情 mesh、动态 mesh 序列、外观纹理、说话的图像和计算的法线等。通过对这些数据进行处理，研究团队训练出了 HACK 模型。

HACK 模型的应用领域非常广泛。首先，通过拟合 HACK 参数，可以精确重建给定的目标扫描或网格，重建误差较低，并且可以操纵参数来创建不同的表情、姿势和外观。其次，HACK 模型可以与现有的面部表演捕捉技术结合使用，用于角色动画，实现高保真度和表现力强的动画效果。此外，由于 HACK 模型头部和颈部骨骼解剖学上一致，还可以用于在不同主体之间转移颈部动画。

总之，HACK 模型的提出填补了现有参数化人脸模型的空白，解决了欧美面孔为主的数据集缺陷，提供了更准确、更表现力强的结果。该模型的广泛应用将进一步提高数字角色的丰富度和真实性，并拓展数字角色应用场景的空间。