DiffusionLight:用AI绘制铬球精准评估照片光照环境

划重点:

1. 🌐 **DiffusionLight方法简单而高效**:利用生成的铬球进行单张图像的照明评估，具有多种应用，包括虚拟物体逼真插入图像、增强AR和VR、建筑和室内设计中的逼真可视化、计算机游戏中更逼真的场景，以及摄影和电影中更准确的规划。

2. 📸 **SDXL扩散模型的创新运用**:与传统HDR全景数据集训练的方法不同，DiffusionLight采用了Stable Diffusion XL（SDXL）扩散模型，通过渲染铬球来间接学习HDR和广泛亮度范围。

3. 🎨 **细致处理生成的铬球**:通过迭代修补技术处理SDXL生成的初始扩散噪声图，生成一致质量的铬球，进而生成HDR铬球，提供逼真的光照评估。

DiffusionLight 是一种使用生成的镀铬球来估计图像中的光照的方法。

研究人员开发了一种简单但有效的技术来估计单个输入图像中的照明。他们使用在数十亿张标准图像上训练的扩散模型来渲染输入图像中的铬球并将其用作光探针。

这种方法有多种应用，包括将虚拟对象真实地插入图像中、AR和VR的增强、建筑和室内设计中的真实可视化、计算机游戏中更真实的场景以及摄影和电影中更准确的规划。

DiffusionLight 使用 Stable Diffusion XL

当前的照明估计技术基于用于训练神经网络的 HDR 全景数据集。然而，由于可用数据集的种类和大小有限，这些方法常常难以处理现实世界的图像。

相比之下，名为“DiffusionLight”的技术使用经过数十亿张图像预先训练的Stable Diffusion XL扩散模型，在输入图像中渲染铬球。该方法假设人工智能模型已经从训练集中曝光不足和曝光过度的图像示例中间接了解了 HDR 和大范围的亮度。

但是，如果没有进一步干预，SDXL 会生成不正确或不一致的对象，并且无法轻松生成 HDR 格式的图像。因此，研究人员使用了一种称为“迭代修复”的技术来找到初始扩散噪声图，然后将其用于生成质量一致的铬球。

为了创建 HDR 色球，研究人员还生成并组合了多个具有不同曝光值的 LDR 铬球，这些球用于通过 LoRA 进一步细化 SDXL。

训练后，DiffusionLight 在不同设置下提供令人信服的光线估计，并且可以处理非常不同的场景。

使用DiffusionLight进行环境光线估计后，可以将3D 对象无缝插入到现有照片中，让插入的物体光影无比真实。

项目体验网址:https://top.aibase.com/tool/diffusionlight