偏见

它是什么

偏见，就是偏向某一边。用在人工智能上，指系统对某一类人、某一类样子，更容易判错或不公平。

它常常不是某个人故意使坏。它常常从 训练数据里长出来：数据看见的世界不完整，判断就会歪；歪到对待人的时候，就变成不公平。

偏见是一种重要的 技术局限。要知道：人工智能会认错，也会偏向某一边。

机器没有真正的讨厌。它在重复数据里的偏向。所以人要负责发现、报告、补全。

名字从哪来

人的偏见更早。书里、照片里、谁被拍得多，本来就不均匀。机器开始大规模学这些材料以后，不均匀会被放大。

人脸相关的系统，曾经主要用某一些人的照片来训练。另一些人的样子比较少。用的时候，少见过的那一类就更容易被认错、被拦住。

2018 年前后，研究者公开比较过一些人脸分析产品。他们发现：对某一类人，出错率会高很多。比如训练照片里浅肤色、某一类发型更常见时，其他肤色、其他发型就更容易被弄错。这不是说某一个人不好，是系统看见的世界不完整。

这件事提醒所有人：平均正确率很高，不等于对每一个人都公平。要分开看：对哪一类人更准，对哪一类人更容易错。

推荐里也有类似历史。只看见你点过的一类东西，就很少再给你别的，世界会被推窄。

怎么工作

常见来路有三条。

数据不平衡。 训练人脸的照片几乎都是短头发，长头发的同学可能更常被闸机拦住。不是长头发不好，是系统很少见过这种样子。

标签不公平。 如果某类照片总被标成「麻烦」，系统就会学着去找麻烦。名字本身歪了，判断也会歪。

用的场景和训练场景差太远。 校服照片全是晴天、正面、没有外套；下雨穿雨衣，它就慌。

语音里同样会发生。如果几乎只学某一种口音，其他口音更容易被听错。

发现可能的偏见，可以做三件很具体的事：

1. 观察：是不是同一类情况总出错
2. 报告：把现象告诉老师，而不是嘲笑被拦的人
3. 补全：在得到允许的前提下，让数据覆盖更多真实样子

生活里

校园里：

• 同一类发型、同一副眼镜，总在闸机前多等一轮
• 口语软件对某一种口音特别严，对另一种特别松
• 阅读软件只推冒险故事，很少再出现科普

家里和城市里：

• 相册软件把某一种肤色的脸认成别人
• 招聘、贷款这类大人世界的系统，如果数据偏了，也可能对某一类人不公平（那是更严肃的社会问题，小学生先知道「会有这种事」）

被拦住、被认错，先不要把责任推给同学。先查系统看见的世界全不全。

相近差别

偏见和「一次认错」不一样。一次认错，可能是光线太暗；偏见更像：同一类人、同一类样子，错得特别勤。

它和 深度伪造也不一样。伪造是有人故意做假脸、假声音；偏见常常没有人喊「我要欺负你」，却仍然造成不公平。

它和 伦理连在一起。技术问题会变成对人的态度问题。人能问：「这样公平吗？」机器不会自己感到愧疚。

它也和 人类智能里的公平感对照着看。人会心疼被反复拦住的同学；系统只会重复它学过的偏向。

常见误会

误会 1：偏见等于机器讨厌某人。

机器没有真正的讨厌。它在重复数据里的偏向。

误会 2：数据很多，就一定没有偏见。

很多但很单一，仍然会偏。数量不能代替多样。

误会 3：被拦下的人应该先改自己。

先查系统看见的世界全不全。不要把责任先推给同学。

误会 4：偏见只有图像里才有。

语音里有，推荐里也有。凡是靠例子学习的地方，都可能偏。

误会 5：平均正确率高，就对每个人都公平。

平均会把少数人的高错误率藏起来。要问：是不是同一类人总在出错。

想知道更多

• 书：蔡宗翰《写给小学生看的 AI 课》。
• 书：《图解 10 岁就懂的 AI 入门》。
• 书：清华大学《人工智能通识（小学版）》。
• 纪录片：《你好，人工智能》；想了解人脸系统怎样对人不公平，可和家长一起检索「算法偏见」「Gender Shades」这类科普介绍，选择适合年龄的讲解，不要看吓人的画面。
• 电影：《超能陆战队》《机器人总动员》是科幻。看完可以问：故事里的机器有没有偏心？真的系统偏心，多半来自数据，不是来自心情。