韩国AI研究机构出品!MagiCapture:个性化生成高分辨率肖像照片

文章概要:

- MagiCapture是韩国AI研究机构的最新成果，致力于解决多概念定制挑战，实现高质量肖像照片的个性化生成。

- 该方法采用多概念定制，融合主题和风格概念，只需少量参考即可生成高分辨率肖像照片。

- 研究人员提供了新的注意力重新聚焦损失、即时学习策略，在定量和定性评估中明显优于基线方法。

韩国的一家人工智能研究机构近日发布了名为MagiCapture的新技术，该技术旨在解决肖像照片个性化生成的多概念定制挑战。传统上，人们需要前往照相馆，经历昂贵和耗时的图片编辑过程，才能获得适合简历或婚礼庆典等场合的高质量肖像照片。MagiCapture的目标是自动化这一过程，让用户只需使用几张自拍照和一些参考照片，即可获得特定风格的高分辨率肖像照片，如护照照片或个人资料照片。

这一技术的背后，是最新发展的大型文本到图像模型，如SD和Imagen等，使得高保真、逼真的肖像照片成为可能。目前，研究人员正致力于定制这些模型，以结合特定主题或美学。他们将这一挑战定义为多概念定制挑战，旨在让模型能够同时学习源材料和参考风格，生成复合输出。

与传统的文本驱动编辑不同，MagiCapture使用参考图片，让用户能够提供更细粒度的建议，从而使生成的肖像更加符合预期。然而，早期的个性化技术存在一个问题，即生成的图像常常缺乏真实感，而且在商业上难以应用。这主要是因为尝试仅用几张照片来更新大型模型的参数时，通常会导致不同概念的混合或与原始概念的分歧，这在肖像照片中尤为明显。

为了解决这一问题，MagiCapture采用了多概念定制方法，通过组合提示学习实现主题和风格创意的融合。这个过程将组合提示作为培训的一部分，并强化源材料和参考风格的紧密结合。辅助损失和假标签等技术被用来实现信息解缠和避免信息泄漏。这一方法在定量和定性评估中表现出比其他基线方法更好的性能，并且可以轻松应用于生成非人类物体的图像。

MagiCapture代表了肖像照片生成领域的一项重要技术突破，为用户提供了更便捷、个性化的肖像照片生成方法。通过多概念定制和新的学习策略，它成功地克服了传统个性化技术存在的问题，为高分辨率肖像照片的定制创造了更多可能性。

论文网址:https://arxiv.org/abs/2309.06895