12秒生成一张图！谷歌提出扩散模型推理加速新方法 手机也能玩Stable Diffusion了

手机上也能用Stable Diffusion生成一张图了，而且只要12秒!怎么做到的?最近，谷歌提出了扩散模型推理加速新方法——Speed is all you need。该方法是针对Stable Diffusion来做的优化，但同时也能适应其他扩散模型。

优化包括三个步骤:设计专门的内核以提高注意力模型的效率，使用 Winograd 卷积加速计算，以及实施 FlashAttention 以减少内存使用并提高准确性。

Speed is all you need在使用 GPU 的设备上优化大规模扩散模型可以在个人计算机和移动设备上实现更快的图像生成和其他 AI 任务。新方法还可以通过在标记内容创建或更改方式方面提供透明度来帮助解决对合成媒体传播的担忧。

论文地址:https://arxiv.org/abs/2304.11267