Vector Institute推出开源AI偏见检测工具UnBias-Plus

多伦多AI研究机构Vector Institute于周二发布了开源工具UnBias-Plus，这是一款免费工具，可检测并改写文本内容和AI训练数据中的偏见语言。该机构的研究科学家表示，该工具能够扫描涉及种族、性别、年龄和政治立场的偏见表述，并生成解释和“中立”替代建议。

“推动我们创建这个工具的原因很简单，”Vector Institute应用机器学习科学家Shaina Raza在一份声明中说，“因偏见语言受到最大伤害的人往往最晚意识到它的存在。患者看不到临床记录中隐藏的假设，求职者不知道门为何一再关上。”

由于大型语言模型（LLMs）主要基于人类生成的数据训练，它们可能复制人类社会中的偏见，包括种族主义、性别歧视等。例如，美国用于筛选求职者的算法招聘工具被发现对黑人和亚裔申请人存在系统性偏见。在医疗领域，伦敦政治经济学院的一项研究发现，英国议会使用的AI工具低估了女性健康问题的严重程度。

Vector的新工具旨在捕捉这些结构性问题，帮助加拿大组织与国家AI战略对齐——该战略已将偏见视为挑战。加拿大政府关于在线危害的新立法并未提出明确的AI模型偏见消除方案，仅要求社交媒体和AI聊天机器人服务“承担负责任义务”，包括降低用户接触有害内容的风险。

雪鸮编辑认为，这个工具对加拿大的华人求职者和患者尤其有意义——AI招聘和医疗记录中的隐性偏见可能直接影响你们。免费开源，值得关注，但实际效果还需更多测试。