ContorlNet作者的研究！LayerDiffusion可生成商业素材级别透明PNG图片

划重点:

⭐️ 一个非常有意思的项目可以用 SD 直接生成透明的 PNG 图片，也可以直接生成带有透明度分层的图片。

⭐️ LayerDiffusion使得大型已经过预训练的潜在扩散模型能够创造透明图像。

⭐️ 这项技术不仅可以生成单独的透明图像，还能生成多层透明图层，拥有多种应用场景。

用于生成图像的大规模模型已经成为计算机视觉的基础而图形，令人惊讶的是，很少有研究关注分层内容生成或透明图像生成。这种情况与巨大的市场需求形成鲜明对比。

ContorlNet的作者研究了一款名为LayerDiffusion项目，使得大型已经过预训练的潜在扩散模型（latent diffusion model）能够创造透明图像。LayerDiffusion可以用 SD 直接生成透明的 PNG 图片，也可以直接生成带有透明度分层的图片。

它通过一种被称为“潜在透明度”的方法，将透明度（即 alpha 通道）整合到预训练的潜在扩散模型的潜在结构中。这样做的好处是，它通过以潜在偏移的形式加入透明度，几乎不改变模型原有的潜在分布，从而保持了模型的高质量输出能力。基于这种方法，任何一个潜在扩散模型都可以通过对潜在空间的微调，转化为透明图像生成器。

研究人员在训练模型时采用了涉及人机互动的方法，收集了大量透明图像层数据。研究结果显示，潜在透明技术不仅可以应用于各种开源图像生成器，还可以适配多种条件控制系统，实现不同应用场景下的层生成和结构控制。

研究显示，这种潜在透明技术不仅可以应用于不同的开源图像生成器，还可以适配多种条件控制系统，实现例如基于前景/背景条件的层生成、层的联合生成、对层内容进行结构控制等多种应用。

一项用户研究发现，大多数情况下（97%），相比于之前的临时解决方案(如先生成图像再进行抠图处理)，用户更喜欢我们直接生成的透明内容。用户还表示，生成的透明图像在质量上可媲美真实的商业级透明素材，例如 Adobe Stock 提供的素材，展现出技术的强大和实用性。

论文入口：https://arxiv.org/pdf/2402.17113.pdf