编辑导语：我们生活在算法时代，一方面，技术的发展使得算法进入到更深层次的决策领域，对我们的生活也产生着重要影响；另一方面，还存在着一个我们不容忽视的问题——算法偏见。
JoyBuolamwini是一位加纳裔科学家。一次，在做一项涉及面部识别软件的作业时，她发现，算法无法识别她的脸——除非她戴上白色面具。
这是Netflix最近上线的纪录片《编码偏见》中的一幕。此外，这部关于算法偏见的纪录片还呈现了广告、招聘、金融服务、警务和其他许多领域中，算法对社会现有种族、阶级和性别偏见不同程度的延续。
受此启发，JoyBuolamwini测试了许多面部识别商用软件发现，白人男性性别被正确识别的概率高达99%。随着肤色变暗，错误率也呈指数增长，近35％黑人女性无法被正确识别。
年，在国内，《外卖骑手，困在系统里》一文引发广泛讨论，焦点指向外卖平台的算法系统。技术的进步改善了生活的方方面面，但问题也逐渐浮现，人们不再相信算法决策是完全公平的。在逐渐被AI等智能技术包围的时代，算法偏见（algorithmbias）逐渐成为重要的信息伦理问题，乃至社会议题。
本期全媒派将从典型的算法偏见表现说起，分析偏见如何通过算法呈现到现实生活，再从现实出发，介绍科技公司在技术和操纵者层面，对纠正算法偏见可以做的努力。
一、随处可见的算法偏见
去年，杜克大学科学家发表能够将模糊照片清晰化的算法PULSE。不过，美国前总统奥巴马的模糊照片经处理后，生成的却是一张清晰的白人面孔。
图片来源：Twitter/
Chicken3gg这被视为算法偏见的典型案例。算法偏见，是在信息的生产、分发及核查的过程中对用户造成的非中立立场影响，从而导致片面、失实等信息观念的传播。现实生活中，算法偏见可能发生在每个人身上。
清华大学新闻与传播学院智媒研究中心在《算法治理与发展：以人为本，科技向善》报告中，从领域和对象出发，将算法偏见的表现分为有损群体包容性的偏见、有损群体公平性的偏见及有损个体利益的偏见。[1]
1.有损包容性
针对算法偏见的讨论，多数与种族、性别等指向不同群体的因素相关。这类偏见展现的，是算法对不同群体的包容度不足——不同肤色、特定环境下的弱势群体或女性，容易成为被算法忽视的对象。
开头JoyBuolamwini的例子，就是这类偏见的一种表现。有感于此，Joy发起了一项研究，收集来自非洲和欧洲共6个国家的张人脸照片，测试了IBM、微软、旷视3家公司的人脸识别产品，结果显示都存在不同程度的女性和深色人种“歧视”。
类似的事情时有发生。年，GooglePhotos曾经把两个深肤色的人标记为“大猩猩”。
到了年，《连线》杂志对相册中4万多张动物图片测试后发现，谷歌没有完全修复这个漏洞，只是不再将任何图片标记为大猩猩。疫情期间，谷歌旗下服务GoogleVisionCloud曾经将手持测温计的深肤色人员图像标记为“枪”，而相同条件下的浅肤色人员图像，则被标记为“电子设备”。
去年，有用户指出，Twitter的图像裁剪算法存在种族和性别偏见。当用户在查看预览推文呈现的缩略图区域时，如果一张照片上有不同肤色人种，算法会更突出浅肤色的人像区域。
图像识别之外，频繁、深度使用语音识别、文字识别技术的科技公司，也常在这上面“失误”。年的一个调查发现，谷歌助手、苹果Siri和亚马逊的Alexa对美国口音、印度口音和中国口音的英语识别准确率并不一致。
2.预测、决策不公
除了种族、性别和年龄等人类属性方面的偏见，算法也在消费、就业和犯罪风险检测等应用场景方面表现出偏见。[2]这种偏见最直接的影响，就是可能导致预测、决策的不公，造成对群体公平性的损害。
最常见的一类是招聘偏见。路透社曾在年报道，亚马逊设计的AI招聘算法中暗含对女性求职者的偏见。
当读取到带有“women”的相关词，算法会降低简历的权重。比如，当简历中出现“女子象棋俱乐部队长”或“女子学院”这样的词，算法会直接对求职者作降级处理。亚马逊最终关闭了这个招聘算法。
而当算法被用于招聘面试，分析应聘者肢体语言、眼神活动等更细致的维度时，面试过程中的一举一动，都不得不谨小慎微。这些工具可以帮助企业提高效率、节省开支，但也偶有偏见。
被高盛、联合利华等企业普遍采用的AI面试工具HireVue，可能会分不清皱眉是因为在思考问题，还是情绪不佳（暗示性格易怒）。[3]
犯罪领域中人脸识别算法的偏见也常导致不公。年，新闻机构ProPublica调查了美国各州政府用来评估被告人再犯罪风险的COMPAS算法，发现黑人假释候选人更容易被评为高风险。在美国，不止一次出现黑人或少数族裔因为算法原因被错误逮捕的事情。
除了司法、就业，当下生活中，算法参与决策的领域还包括金融、医疗、消费等，算法偏见的范围或许也比想象中广。
3.威胁个体利益
包容性的降低和公平性的损耗，必然影响个体利益。
例如，谷歌的PageRank的算法能评价网络链接的重要性，对网页进行排序。在GoogleShopping里，谷歌曾暗暗将自己的商品置于网页排序中的显眼位置。[4]这影响了用户的消费选择。
在日常生活中，可能不少人都有过这样的体验：在一些网络平台消费的时候，同时同地同样的消费，其他人的费用可能比自己低。通过记录分析消费者的消费痕迹，来对不同消费者差别定价，这种“算法杀熟”也可以被视作一种算法偏见。
二、纠正算法偏见，科技公司怎么做？
当算法偏见越来越成为无法回避的技术、伦理和社会问题时，纠正偏见也就成为解决问题的重点。作为规则设计者、制定者和参与者的科技公司，也不得不主动做出回应。
纠正偏见，先要知道偏见为何发生。
人工智能专家、AI公司AnotherBrain首席执行官Bruno指出：“人工智能算法存在三种主要的偏差来源：训练数据集，让算法学习我们想要的东西，以及AI算法本身的原理。”也就是说，算法的偏见来源于数据的纰漏、设计者的偏见，以及人机交互或算法本身的不足。
目前来看，科技公司纠正算法偏见，主要也是从算法的数据技术层面以及算法操纵者的偏见等方向来行动。
1.算法技术层面
近几年，不少公司都发布了用来检查算法偏差的工具。
年5月，Facebook推出FairnessFlow，当算法根据一个人的种族、性别或年龄做出了不公的判断，它会自动发出警告来提醒。之后，谷歌在其开源网页中推出了工具What-If，帮助开发者检测算法公平性。[5]
也在同年，IBM推出AIFairness开源工具包，提供超30个公平性指标、9个偏差缓解算法，用于检查在信用评分、预测医疗支出和面部图像性别分类等不同场景中的算法偏见，还会推荐改进的方法，比如算法调整或数据平衡。
去年8月，微软旗下的领英推出公平工具包（LiFT)，可以对数据集的属性（如种族和性别构成）做分析，并将结果与算法结果来比较，进而检测公平性。
如果数据集本身有偏见，那显然，用数据集训练出的算法也很难客观。因此，不少举措也