AI,解释你自己
发布于2021年11月20日
在过去的十年里，海量数据中的机器学习-发现模式正处于蓬勃发展的状态。2010年，关于机器学习的生命科学论文数量不到600篇;到2019年，这一数字超过了1.2万。在医学上的应用有可能挽救生命，包括帮助医生更快地进行正确诊断的能力(”机器里的医生“冬季2015)。
FDA已经批准29种医疗设备以某种方式使用机器学习，还有几十种其他设备正在研发中。转化研究团队也在寻求在临床实践中为其惊人的洞察力寻找空间，包括哪些患者最有可能错过胰岛素剂量，以及谁可能在未来6个月内自杀。
但也有不利的一面。总的来说，人类研究人员无法遵循这些算法背后的逻辑——包括几乎所有fda批准的技术中使用的算法。通过将信息通过复杂网络的“隐藏层”传递，从而形成预测模式——这是一种逻辑变得不透明的黑箱方法。
“说一个算法是一个黑盒子意味着它甚至不能被设计它的人理解，”他说鲍里斯·巴比克他是多伦多大学哲学和统计学教授。他说，这些参数和它们之间的关系变得如此复杂，以至于在数学上不可能拼凑出输入如何导致输出。
有些人可能会说:那又怎样?如果算法有预测能力，那就让黑盒是黑色的。但另一些人则担心，机器可能会编造或从它们输入的数据中“捕捉”危险的假设。例如，当一个工具从人类身上学习时，它可能会延续现有的偏见——例如，临床医生倾向于不像对待男性那样重视女性对疼痛的描述。
研究人员和政策制定者越来越多地呼吁使用能够解释他们正在做什么的算法。美国国家标准与技术研究所今年早些时候举行了一个研讨会，制定新的基准。英国皇家学会(Royal Society)发布了一份支持解释的政策简报，而欧盟在2016年通过《一般数据保护条例》(General Data Protection Regulation)后，也越来越多地主张对影响人们生活的算法拥有“解释权”。