我们能在机器学习中实现公平吗-北卡罗来纳大学的研究人员有了新的方法_健康

编者注:Deep Dive是TechWire每周三定期发布的一篇专题文章，对从科技到就业的及时问题进行深入分析。

+++

教堂山——最近像ChatGPT这样的大型语言模型的爆发增加了人们对其结果偏差的质疑。但这个问题并不新鲜，因为近年来社会越来越依赖算法系统及其产生的输出。这样的系统有能力提供高效的、数据驱动的决策——特别是对于高度复杂或认知要求很高的二元问题(即有两个可能答案之一的问题)。

然而，尽管决策的数字化似乎提供了一个比人类判断更客观的过程，但在实践中，这一过程的效果却截然不同。从面部识别软件到就业和面试预筛选，人们发现算法强化了系统性偏见，加剧了现有的不对称和不平等，而不是减少了它们。

“公平原则”替代方案

计算机科学家试图通过设计各种“公平原则”来解决这个问题，这些原则可以构建到决策模型中;然而，这些原则的一贯适用尚未成为可能，而且提出的公平原则往往是相互矛盾的。

Eric Ghysels，北卡罗来纳大学教堂山分校爱德华·m·伯恩斯坦杰出经济学教授，北卡罗来纳大学凯南-弗拉格勒商学院金融学教授，Rethinc的教务主任。提供了在机器学习模型中实现公平性的另一种方法。破坏性更大的成本比破坏性更小的成本权重更大;随着算法的训练，它内化了反映其输出可能产生的不对称的这些成本。更简单地说，该算法的训练方式是，它的决策过程考虑了上下文和不对称性，而不是统一地处理每个决策。这是一种与传统机器学习设置非常不同的思维方式，在传统机器学习设置中，使用的是不考虑性别、种族或其他少数群体的一刀切的对称成本函数。这是经济学家从成本效益分析和效用函数角度思考问题的心态。

埃里克·吉塞尔斯(UNC-CH照片)

这在抽象上似乎是模糊的，这就是为什么作者最后在审前拘留决定的背景下分析了他们的模型。审前拘留决定程序涉及法官对某一被告是否应在审判前被拘留或保释的评估。这两种决定都可能产生经济成本;拘留一名被告必然涉及安置和监禁另一名囚犯的成本，而在审判前释放一名被告可能会导致该被告逃跑或犯下进一步的罪行。挑战在于，现有的算法模型(COMPAS，即替代性制裁的罪犯管理分析)已被证明存在种族偏见——它倾向于错误地预测黑人的再犯率是白人的两倍。因此，审前羁押问题具有检验吉塞尔斯不对称模型的必要条件。

这两种潜在的决定都可能产生更深层次的社会和个人后果。一些研究机构表明，监禁增加了个人的心理负担，也增加了被告再犯的可能性。另一方面，被告在保释期间犯下的任何罪行都可能给社会其他成员带来无数的成本。Ghysels和他的合著者将他们的非对称深度学习方法与传统的机器学习COMPAS模型进行了比较，前者使用了法律专业人士常用的审前拘留的成本和收益。他们发现他们的模型将总成本降低了10%-13%;最终，他们的模型可以被认为是略微增加了假阳性错误的数量(被告在本不应该被关进监狱的时候被关进了监狱)，但这被减少了假阴性错误的数量(被告本应该被关进监狱)所抵消。在这样做的过程中，不对称模型降低了审前拘留中的种族偏见。

下面，我们为Ghysels提供了一些后续问题，以进一步讨论他的研究的意义。

在像ChatGPT这样的大型学习模型爆炸式增长的背景下，我们应该如何看待这些结果?

Eric Ghysels: ChatGPT的情况更加复杂。我们的研究涉及二元选择问题中的偏见，或者机器学习研究人员所说的分类问题。许多算法驱动的决策，如欺诈检测、大学录取、贷款申请、招聘等，都是二元的。ChatGPT是生成式AI，为查询提供答案。有些决定可能是因为提供的答案而做出的，但这种联系很难形式化。更重要的是，ChatGPT提供的答案的可信度和准确性是最重要的。我们看到的问题和刚才提到的关于ChatGPT的问题有一些共同点。在这两种情况下，人工智能都是数据驱动的，嵌入数据的偏见将产生复制甚至放大这种偏见的输出。在我们的分类问题中，成本效益权衡可以中和或至少减弱偏差。过滤ChatGPT的输出更具挑战性。

你认为社会和监管机构应该如何处理算法和无监督的决策?你认为监管或监督的作用是什么?

Eric Ghysels:立法者和行业领袖正在就监管人工智能进行对话。这是典型的情况:行业宣称可以自我监管，而一些立法者则主张采取更严厉的监管方式。这些讨论涉及许多方面。首先，所有生成式人工智能模型都是使用大量数据进行训练的。在这一点上，数据隐私问题已经岌岌可危。例如，意大利政府利用欧洲数据保护立法(GDPR)禁止ChatGPT。意大利数据保护局(Data Protection Authority)命令OpenAI暂时停止处理意大利用户的数据，目前正在调查OpenAI可能发生的数据泄露事件，该事件允许用户查看其他用户与聊天机器人的对话标题。该机构认为，没有法律依据支持大规模收集和处理个人数据来训练平台所依赖的算法。

除了数据保护，还有更广泛的社会问题。杰弗里•辛顿(Geoffrey Hinton)是人工智能领域广泛使用的深度学习模型创新者之一，他辞去了在谷歌(Google)的职务，直言不讳地谈到了他帮助开发的这项技术的“危险”。此外，包括比尔·盖茨、埃隆·马斯克和史蒂夫·沃兹尼亚克在内的科技行业领袖在3月底签署了一封公开信，呼吁在六个月内停止开发比GPT-4 (OpenAI最新的大型语言模型)更强大的人工智能系统。这封公开信呼吁世界各地的人工智能实验室暂停开发大规模人工智能系统，理由是担心这种软件会给“社会和人类带来深刻风险”。我不确定六个月的暂停是否有足够的时间来提出好的解决方案，而且显然没有明确的机制来激励人们遵循公开信的建议。尽管如此，显然有足够多的声音大声而明确地表示，需要尽早设置护栏。

审前羁押制度如何受益于你的模型的应用?多么种族正义的组合模型可以解决哪些问题?

Eric Ghysels:这个问题让我想到了一个更广泛的话题。一些法官只是反对使用任何形式的算法，即使是在从属的顾问角色。因此，首先也是最重要的是，要让法官——以及更广泛的法律职业——适应人工智能辅助下的决策，存在一个教育障碍。当然，这个问题并不局限于法律界。作为一名商学院的教育工作者，我试图向未来几代商业领袖传授人工智能的见解。我的目标是让他们在人工智能输入的指导下做出决定。了解人工智能的局限性和优势以及理解数据科学家的行话是很重要的。一旦克服了这个障碍，我认为我们的模型的实现将涉及到与COMPAS软件相比，我们的设置的优势的对话。