我们很容易认为算法是客观的,而且绝对可靠,但事实是,机器学习模型的可靠性有赖于训练模型时使用的数据。此外,由于负责寻找、组织和标记这些数据的都是人类,因此即便是最轻微的不规范行为,也很容易在结果中造成重大差异。更糟糕的是,算法的执行速度远非人类所能及,再加上是在全球范围内执行,因此不公平的偏见不仅被重复,而且还有所扩大。
虽然不公平的偏见可能是蓄意偏见的产物,但我们的盲点却发挥着更普遍的作用。例如,我们往往会被能够证实自己信念的人和观点所吸引,而对置疑我们信念的人和观点,则容易回避。这种现象被称为证实性偏见,它甚至可以扭曲最有善意的开发者的看法。
此外,由于我们身边已经发现有不公平的偏见,因此即便是如实收集的数据,也可以反映这种偏见。例如,大量的历史文本经常用于训练涉及自然语言处理或翻译的机器学习模型,如不改正,可能会使这种有害的成见持续下去。Bolukbasi 等人的开创性研究以令人震惊的清晰度量化了这一现象,证明统计语言模型能够非常轻松地 “学习” 关于性别的过时假设,例如 “医生” 是 “男性”,“护士” 是 “女性”。与此相似的嵌入性偏见问题在种族方面也有体现。
我们正在多个领域处理这些问题,其中以感知领域最为重要。为了促进人们更广泛地理解公平对于机器学习等技术的必要性,我们创建了教育资源,例如 ml-fairness.com,并在 ML 教育速成课程中新近推出公平性模块。
我们还看到一种鼓舞人心的趋势,即借助文档记录来更好地理解机器学习解决方案中的内容。今年早些时候,研究人员提出了一种记录数据集的正式方法,这种方法特别适用于数据集包含以人为中心的信息或人口统计敏感信息的情况。以此观点为基础,Google 的研究人员提出了 “模型卡片”,这是一种用于描述机器学习模型的目标、假设、性能指标、甚至伦理道德考量的标准化格式。一目了然,模型卡片旨在帮助开发者(无论是否有 ML 专业知识)在掌握信息的情况下决定负责任地使用给定组件。
当然,我们一直致力于为开发者提供值得信赖的工具,在挑战偏见方面也是一样。首先从嵌入式文档开始,例如包容性 ML 指南,我们将该指南集成在 AutoML 中,并扩展到类似 TensorFlow Model Analysis (TFMA) 和 What-If Tool 等工具,该指南为开发者提供所需的分析数据,使其确信他们的模型会公平对待所有用户。TFMA 可以轻松将模型在用户群体的不同环境、特征和子集下的性能表现可视化,而 What-If 支持开发者轻松运行反设事实,阐明关键特征(例如给定用户的人口属性)逆转时可能会发生的情况。这两个工具都可以提供沉浸式互动方法,用于详细探索机器学习行为,帮助您识别公平性和代表性方面的失误。
最后,我们计划通过数据科学平台 Kaggle 充分发挥社区的力量。我们最近推出的包容性图像挑战赛主要解决图像训练集中地理多样性偏差的问题,这一问题导致分类器经常难以描述来自代表人数不足地区的人。参赛者面临的挑战是构建能够在无需整合新数据的前提下更好地在不同地理环境间进行泛化的模型,从而打造出更加包容、可靠的工具,以便更好地为全球用户群提供服务。在此项任务中取得的进展将应用于其他领域,我们对此很乐观,同时也很高兴在 2018 年的神经信息处理系统大会上展示这些成果。
对于目前采取的这些做法,我们深感自豪,我相信这些知识和我们正在开发的工具具有深远的意义,必将促进 AI 技术的公平性。但没有一家公司能够独自解决如此复杂的问题。这场对抗不公平偏见的斗争将是一次集体行动,由许多利益相关者的投入共同推动,我们会倾听多方意见。世界不断变化,我们也将继续学习。