小米发布新项目SDXS，大幅提升SD图像生成速度

近日，小米发布了一项名为SDXS的项目，该项目旨在大幅增强SD图像生成速度。据悉，SDXS可以在单个GPU上实现SD1.5每秒100张图的生成速度，而SDXL则能达到每秒30张图的生成速度。这一项目估计是为了在小米的本地设备上运行SD模型而研究的。

扩散模型在图像生成任务上取得了优异的性能，但由于模型庞大且需要多步采样，推理速度很慢，难以部署在低功耗设备上。为了解决这些问题，可以采用剪枝、知识蒸馏、量化等常见的模型压缩方法。本文的优化思路主要有两个方面:一是模型微型化，二是减少采样步数至1步。

项目地址：https://top.aibase.com/tool/sdxs

在项目介绍中，小米采用了知识蒸馏技术来简化U-Net架构和图像解码器。同时，他们还引入了一种创新的单步训练技术，这种技术通过特征匹配和成绩蒸馏来训练扩散模型。基于这些优化措施，小米开发了两款模型，SDXS-512和SDXS-1024。这两款模型在单个GPU上分别能达到大约每秒100帧（比SD v1.5快30倍）和每秒30帧(比SDXL快60倍)的处理速度。

此外，小米表示，这种训练方法在图像条件控制方面展现出巨大的潜力，有效地实现了图像到图像的快速转换。这一突破性的进展将有助于推动图像生成技术的发展，同时也为小米在人工智能领域的研究和应用提供了有力支持。