麻省理工学院研究人员在机器学习模型隐私保护方面取得突破

麻省理工学院的研究人员通过引入一种新的隐私度量标准和一个确定所需噪音最小量的框架，取得了保护机器学习模型中敏感数据的突破。

传统的隐私保护方法往往通过添加大量噪音来防止对特定数据的识别，但这会降低模型的准确性。而新的隐私度量标准 “Probably Approximately Correct （PAC） Privacy” 则从不同的角度考虑，评估了对手在添加噪音后重构敏感数据的难度。

为了实现 PAC 隐私，研究人员开发了一个算法，根据对手的观点计算原始数据的不确定性或熵，并通过对多次运行机器学习训练算法的子采样数据进行比较，确定所需噪音的最佳量。

该算法不需要了解模型的内部工作机制或训练过程，并且可以根据用户对对手重构敏感数据能力的要求提供最佳噪音量。然而，该算法并不估计添加噪音对模型准确性的损失，而且由于需要反复在多个子采样数据集上训练机器学习模型，实现 PAC 隐私可能会导致计算成本较高。为了提高 PAC 隐私的效果，研究人员建议修改机器学习训练过程以增加稳定性，从而减少子采样输出之间的方差。这种方法可以降低算法的计算负担，并减少所需噪音的量。

此外，更稳定的模型通常表现出更低的泛化误差，从而可以在新数据上进行更准确的预测。通过利用 PAC 隐私，工程师可以开发出在保护训练数据的同时保持准确性的模型，从而在实际应用中实现安全的数据共享。