AI|新技术将机器学习模型的推理与人类的推理进行比较新技术将机器学习模型的推理

研究人员开发的一项新技术将机器学习模型的推理与人类的推理进行比较，因此用户可以看到模型的行为模式。在机器学习中，理解一个模型为什么做出某些决定往往与这些决定是否正确一样重要。例如，机器学习模型可能会正确预测一个皮肤病变是癌症，但它可能是通过临床照片上一个不相关的点来完成的。

文章图片

虽然有工具可以帮助专家理解模型的推理，但这些方法往往一次只能提供一个决策的见解，而且每个决策都必须经过人工评估。模型通常使用数百万的数据输入进行训练，使得人类几乎不可能评估足够多的决定来识别模式。
现在，麻省理工学院和IBM研究院的研究人员创造了一种方法，使用户能够对这些单独的解释进行汇总、分类和排序，以快速分析机器学习模型的行为。他们的技术被称为“共享兴趣”（ Shared Interest），它包含了可量化的指标，可以比较一个模型的推理与人类的推理的匹配程度。
Shared Interest可以帮助用户轻松发现模型决策中的相关趋势--例如，也许模型经常被分散注意力的不相关特征所迷惑，比如照片中的背景物体。汇总这些洞察力可以帮助用户快速和定量地确定一个模型是否值得信赖，是否可以在真实世界中部署。
“在开发Shared Interest的过程中，我们的目标是能够扩大这个分析过程，这样你就可以在更大的范围内了解你的模型的行为是什么，”主要作者 Angie Boggust说，她是MIT计算机科学和人工智能实验室（CSAIL）可视化小组的研究生。
Boggust与她的导师Arvind Satyanarayan（领导可视化小组的计算机科学副教授）以及IBM研究院的Benjamin Hoover和资深作者Hendrik Strobelt共同撰写了这篇论文。该论文将在计算系统中的人的因素会议上发表。
Boggust在IBM的暑期实习期间，在Strobelt的指导下开始了这个项目的工作。回到麻省理工学院后，Boggust和Satyanarayan扩大了该项目，并继续与Strobelt和Hoover合作，他们帮助部署了案例研究，展示了该技术如何在实践中使用。

文章图片

人类与人工智能的协调
Shared Interest利用流行的技术来显示机器学习模型是如何做出具体决定的，即所谓的突出性方法。如果该模型是对图像进行分类，突出显示图像中对该模型做出决定的重要区域。这些区域被可视化为一种热图，称为显著性图，通常被覆盖在原始图像上。如果模型将图像归类为狗，而狗的头部被高亮显示，这意味着当模型决定该图像包含一只狗时，这些像素对它很重要。
Shared Interest的工作方式是将突出度方法与地面真实数据进行比较。在一个图像数据集中，地面真实数据通常是人类生成的注释，围绕着每张图像的相关部分。在前面的例子中，方框将围绕着照片中的整只狗。在评估一个图像分类模型时，Shared Interest比较了同一图像的模型生成的显著性数据和人类生成的地面真实数据，看它们的一致性如何。
该技术使用几个指标来量化这种一致性（或不一致），然后将一个特定的决定分为八个类别之一。这些类别的范围从完全与人类对齐（模型做出了正确的预测，并且突出显示的区域与人类生成的盒子相同）到完全分心（模型做出了错误的预测，并且没有使用人类生成的盒子中的任何图像特征）。
“在光谱的一端，你的模型做出这个决定的原因与人类完全相同，而在光谱的另一端，你的模型和人类做出这个决定的原因完全不同。通过对你的数据集中的所有图像进行量化，你可以用这种量化来对它们进行分类，”Boggust解释说。