如何在科学研究中使用AI，避免走偏？

划重点:

🔍 一项新的统计技术，预测驱动推断（PPI），帮助科研人员安全地使用机器学习预测来验证科学假设。

🔍 机器学习模型可以加速科学发现，但也可能导致误导性或错误的结果。

🔍 PPI技术允许科学家在不了解模型错误性质的情况下，纠正大型通用模型的输出，以适应特定科学问题。

近十年来，人工智能已经渗透到科学的各个领域。机器学习模型已被用于预测蛋白质结构、估算亚马逊雨林的砍伐比例，甚至分类可能存在系外行星的遥远星系。然而，虽然AI可以加速科学发现，但它也可能误导科学家。与聊天机器人有时会“产生幻觉”或编造信息类似，机器学习模型有时也会呈现误导性甚至明显错误的结果。

加州大学伯克利分校的研究人员在一篇在线发表的《科学》论文中提出了一种新的统计技术，用于安全地使用机器学习模型的预测来验证科学假设。这项技术被称为“预测驱动推断”（PPI），它利用一小部分真实世界数据来在特定科学问题的背景下纠正大型通用模型的输出，例如AlphaFold，该模型用于预测蛋白质结构。

图源备注：图片由AI生成，图片授权服务商Midjourney

这些模型旨在通用性，它们可以回答许多问题，但我们不知道它们回答哪些问题得心应手，哪些问题回答不好。如果你无知地使用它们，不知道自己处于哪种情况，你可能会得到错误答案。PPI技术使你能够使用这些模型，但也能够在不了解错误性质的情况下进行纠正。

在科学实验中，科学家们通常不仅寻找一个答案，而是想要获得一系列可能的答案。这是通过计算“置信区间”来实现的，最简单的情况下可以通过多次重复实验并观察结果的变化来找到。然而，大多数科学研究中，置信区间通常是指总结或综合的统计数据，而不是个别数据点。不幸的是，机器学习系统关注个别数据点，因此不能为科学家提供他们关心的不确定性评估。例如，AlphaFold预测了单个蛋白质的结构，但它没有提供该结构的置信度概念，也没有提供与蛋白质的一般性质相关的置信区间的获取方式。

科学家可能会试图将AlphaFold的预测用作数据，以计算经典置信区间，而忽视了这些预测不是数据的事实。这种方法的问题在于，机器学习系统具有许多潜在偏见，这可能会使结果产生偏差。这些偏见部分来自它们所训练的数据，这些数据通常是现有的科学研究，可能没有与当前研究具有相同的关注点。

PPI技术允许科学家将AlphaFold等模型的预测纳入其中，而不对模型的构建方式或训练数据做出任何假设。为了做到这一点，PPI需要一小部分与正在调查的特定假设无关的无偏数据，以及与该数据对应的机器学习预测。通过将这两个证据来源结合在一起，PPI能够形成有效的置信区间。

研究团队将PPI技术应用于使用卫星图像来定位亚马逊雨林砍伐区域的算法。这些模型在森林中的不同地区进行单独测试时通常是准确的，但当将这些评估结合在一起以估计整个亚马逊雨林的砍伐情况时，置信区间变得高度倾斜。这可能是因为模型难以识别某些较新的砍伐模式。通过PPI，团队能够使用少量人工标记的砍伐区域来纠正置信区间中的偏见。

研究团队还展示了这种技术如何应用于各种其他研究领域，包括蛋白质折叠、星系分类、基因表达水平、浮游生物计数以及收入与私人医疗保险之间的关系。这一方法可以应用于各种问题，是现代数据密集、模型密集和合作科学的必需组成部分。