首页站长资讯Align Your Steps：低步数推理保持高质量结果适用于SD 1.5和SDXL

Align Your Steps：低步数推理保持高质量结果适用于SD 1.5和SDXL

站长网2024-04-26 16:17:140阅

划重点:

- 通过优化采样计划提升生成模型效率和质量

- 可适用于多种数据合成基准测试，包括图像、视频等

- 用户友好的插拔式优化计划应用，提升生成过程中的稳定性和质量

在深度学习领域，扩散模型（DMs）作为生成建模的前沿方法已经得到广泛应用。然而，DMs 的一个关键缺点是其较慢的采样速度，这主要是由于需要通过大型神经网络进行多次顺序函数评估。

本文提出了一种名为 “步调齐整（Align Your Steps）” 的全新方法，旨在为 DMs 优化采样计划，从而实现高质量输出。该技术适用于SD1.5和SDXL，低步数的同时保持高质量结果。通过利用随机微积分方法，针对不同的求解器、训练的 DMs 和数据集找到最佳的采样计划。在多个图像、视频以及二维数据合成基准测试中，优化计划几乎在所有实验中优于先前手工制定的计划。这一方法展示了采样计划优化的潜力，特别是在少步骤合成领域。

通过严格的定量实验，发现优化计划在标准图像生成基准测试中显著提升图像质量，无论使用哪种流行的采样器都能得到一致的改进。此外，研究还针对文本到图像模型进行了用户研究，结果显示使用优化计划生成的图像更受欢迎。

下面展示了一些文本到图像的例子，对比展示了使用优化计划与实践中使用的两种最流行计划（EDM 和 Time-Uniform）的效果。