从马赛克到高清图，AI生图能力变强了，但如何取得美感与失真的平衡？

站长网2023-10-09 22:44:470阅

让图像看起来更好的 AI 工具，往往会导致图像失真，而让图像看起来更真实时，往往会缺少美感，这一问题该如何权衡?

在悬疑和科幻作品中，我们经常能看到这样的场景:计算机屏幕上显示出一张模糊的照片，然后调查人员要求增强图像，然后图像就神奇的变得清晰，揭示出重要线索。

这看起来很棒，但其实几十年来这一直是完全虚构的情节。即使在 AI 生成能力开始增长的一段时间内也很难做到:「如果你只是单纯地将图像放大，它会变得模糊。确实会有很多细节，但都是错误的，」英伟达应用深度学习研究副总裁 Bryan Catanzaro 说道。

不过，研究人员最近开始将 AI 算法融入图像增强工具，使这一过程变得更加简便和强大，但从任何图像中检索的数据仍然存在限制。但随着研究人员不断推动增强算法的发展，他们正在寻找应对这些限制的新方法，甚至找到了克服这些限制的方法。

过去十年，研究人员开始使用生成对抗网络（GAN）模型来增强图像，这种模型能够生成详细而令人印象深刻的图片。

以色列特奥尼恩理工学院的电气工程师 Tomer Michaeli 表示:「图像突然变得好看多了。」但他同时惊讶地发现，由 GAN 生成的图像显示出很高的失真水平，失真水平衡量了增强图像与所显示的底层现实之间的接近程度。GAN 生成的图像看起来漂亮自然，但实际上它们在「虚构」或「幻想」那些不准确的细节，这导致了高度的失真。

Michaeli 观察到照片修复领域分为两大类:一种展示了漂亮的图片，其中许多是由 GAN 生成的。另一种展示了数据，但没有展示很多图片，因为看起来不好看。

2017年，Michaeli 和他的研究生 Yochai Blau 更正式地探究了各种图像增强算法在失真与感知质量上的表现，使用了与人类主观判断相关的感知质量已知度量。正如 Michaeli 所预期的，一些算法的视觉质量非常高，而其他一些算法非常准确，失真很低。但是没有一个同时具备这两种优势，你必须选择其中之一。这被称为感知失真权衡。

Michaeli 还向其他研究人员发起挑战，要求他们提出能够在给定失真水平下产生最佳图像质量的算法，以便在漂亮图片算法和良好统计数据算法之间进行公平比较。从那时起，数百名 AI 研究人员提出了他们的算法的失真和感知质量，并引用了描述这种权衡的 Michaeli 和 Blau 的论文。

有时感知失真权衡的影响并不可怕。例如，英伟达发现高清屏幕不能很好地渲染一些低清视觉内容，因此在2023年2月份推出了一款使用深度学习来提升流媒体视频画质的工具。在这种情况下，英伟达的工程师选择了感知质量而不是准确性，他们接受了这样一个事实，即当算法提升视频分辨率时，它会生成一些原始视频中没有的视觉细节。

「模型是在进行幻想。这完全是猜测，」Catanzaro 说道。「超分辨率模型大部分时间猜错都没关系，只要是一致的就行。」

小鼠大脑血流的视图（左）以及使用 AI 工具提高图像质量和准确性后得到的相同视图。图源:杜克大学 Junjie Yao、Xiaoyi Zhu 。

特别是，研究和医学领域的应用会要求更高的准确性。AI 技术在成像方面取得了重大进展，但杜克大学的生物医学工程师 Junjie Yao 表示:「它有时会带来不希望的副作用，比如过度拟合或添加虚假特征，因此需要极其谨慎地对待。」

去年，他在论文中描述了如何利用 AI 工具改进现有的大脑血流和新陈代谢测量方法，同时在感知失真权衡的准确一侧安全运行。

绕过从图像中提取多少数据的限制的一种方法是简单地合并来自更多图像的数据。此前，通过卫星图像研究环境的研究人员已经在整合不同来源的视觉数据方面取得了一些进展:在2021年，中国和英国的研究人员将来自两种不同类型卫星的数据融合在一起，以更好地观察刚果盆地的森林砍伐情况。刚果盆地是世界上第二大热带雨林，也是生物多样性最丰富的地区之一。研究人员获取了两颗 Landsat 卫星的数据，这些卫星数十年来一直在测量森林砍伐情况，并使用深度学习技术将图像的分辨率从30米提高到10米。然后，他们将这组图像与两颗 Sentinel-2卫星的数据融合在一起，这些卫星具有稍有不同的探测器阵列。他们的实验表明这种综合图像「使得比单独使用 Sentinel-2或 Landsat-7/8图像时能够检测到11% 至21% 更多的受干扰区域」。

如果不能直接突破，Michaeli 提出了另一种硬性限制信息可获取性的方法。与其就如何增强低质量图像寻求确定的答案，不如让模型展示对原始图像的多种不同解释。在论文《Explorable Super Resolution》中，他展示了图像增强工具如何向用户提供多个建议。一个模糊的、低分辨率的穿着似乎是灰色衬衫的人的图像可以被重建成更高分辨率的图像，在这个图像中，衬衫可以是黑白垂直条纹、水平条纹或格子，所有这些都同样合理。