解释，解释和理解人的思想提出了一系列独特的挑战。同时，对机器的行为做同样的事情是另外一回事了。
随着人工智能(AI)模型越来越多地用于复杂的情况下-批准或拒绝贷款，帮助医生进行医疗诊断，协助道路上的驾驶员甚至什至完全控制他人-人们仍然缺乏对他们的能力和行为的全面了解。
现有研究主要集中在以下基础知识：该模型的准确性如何?通常，以简单准确性为中心会导致危险的疏忽。如果模型以很高的置信度犯错误怎么办?如果模型遇到以前看不见的东西，例如无人驾驶汽车看到一种新型的交通标志，该模型将如何表现?
为了寻求更好的人与AI交互，麻省理工学院计算机科学与人工智能实验室(CSAIL)的一组研究人员创建了一个名为Bayes-TrEx的新工具，该工具使开发人员和用户可以透明地了解其AI模型。具体而言，它是通过找到导致特定行为的具体示例来实现的。该方法利用了广泛使用的数学框架“贝叶斯后验推断”来推理模型不确定性。
在实验中，研究人员将Bayes-TrEx应用于几个基于图像的数据集，并发现了以前仅专注于预测准确性的标准评估所忽略的新见解。
麻省理工学院CSAIL博士说：“进行此类分析对于验证模型在所有情况下均能正常运行非常重要。” 学生Yiyi Zhou，Bayes-TrEx的联合首席研究员。“一个特别令人担忧的情况是该模型正在犯错误，但是具有很高的置信度。由于用户对报告的高置信度的高度信任，这些错误可能会在雷达下飞行很长一段时间，只有在造成广泛破坏后才会被发现。 ”
例如，在医学诊断系统完成对一组X射线图像的学习之后，医生可以使用Bayes-TrEx查找模型被非常错误地分类的图像，以确保它不会遗漏任何特定的变体。疾病。
Bayes-TrEx还可以帮助理解新颖情况下的模型行为。以自动驾驶系统为例，该系统通常依赖于相机图像来拍摄交通信号灯，自行车道和障碍物。相机可以很容易地以高精度识别这些常见的事件，但是更复杂的情况可以提供文字和隐喻的障碍。蓬松的Segway可能被解释为像汽车一样大，或者像道路上的颠簸一样小，从而导致棘手的转弯或代价高昂的碰撞。Bayes-TrEx可以帮助提前解决这些新情况，并使开发人员能够在潜在的悲剧发生之前纠正任何不良后果。
除了图像之外，研究人员还致力于解决静态性较低的领域：机器人。受贝叶斯-特雷克斯(Bayes-TrEx)启发，他们的名为“ RoCUS”的工具使用其他工具来分析特定于机器人的行为。
尽管仍处于测试阶段，但RoCUS的实验指出了新发现，如果评估仅专注于任务完成，则很容易错过这些发现。例如，由于如何收集训练数据，使用深度学习方法的2D导航机器人更倾向于在障碍物周围进行紧密导航。但是，如果机器人的障碍传感器不完全准确，则这样的偏好可能会带来风险。对于机器人手臂到达桌子上的目标，机器人的运动学结构中的不对称性对其到达左侧和右侧目标的能力显示出更大的影响。
麻省理工学院CSAIL博士说：“我们希望通过让人们对他们的AI合作者有更多的了解来使人与AI的交互更加安全。” 学生Serena Booth，与周合着。“人类应该能够理解这些行为者如何做出决定，预测他们将如何在世界上行动，并且最关键的是，能够预测和规避失败。”