青岛网站设计如何做,教人做家务的网站,ui设计培训班需要学几个月,代理网络软件来源#xff1a;大数据文摘2020年2月#xff0c;随着 COVID-19在全球迅速传播且抗原检测难以获得#xff0c;一些医生转向人工智能(AI)来尝试诊断病例。一些研究人员采用深度神经网络通过查看X射线和胸部计算机断层扫描(CT)扫描来快速区分患有COVID-19肺炎的人和未患肺炎的人… 来源大数据文摘2020年2月随着 COVID-19在全球迅速传播且抗原检测难以获得一些医生转向人工智能(AI)来尝试诊断病例。一些研究人员采用深度神经网络通过查看X射线和胸部计算机断层扫描(CT)扫描来快速区分患有COVID-19肺炎的人和未患肺炎的人。“在COVID-19大流行的早期人们竞相构建工具尤其是AI工具来提供帮助”西雅图华盛顿大学的计算机工程师Alex DeGrave说“但研究人员并没有注意到许多人工智能模型已经决定走一些捷径” 。AI通过分析被标记为COVID-19阳性和阴性的X射线图片来训练模型然后利用它们在图像之间发现的差异性来进行推断但是在当时面临着一个问题“可用的训练数据并不多。”DeGrave说。多家医院公开了COVID-19患者的X射线照片被标记为COVID-19阳性美国国立卫生研究院在大流行之前收集的肺部图像库提供了未感染COVID-19的X射线数据被标记为COVID-19阴性这些数据在被用作训练时存在无法忽视的误作用例如许多X射线会使用字母R来标记一个人身体右侧从而方便放射科医生正确定位图像与人体的关系但是不同医院采用的字母R的外观不同同时大多数COVID-19阴性图片来源单一这使得最终使用这些数据训练的模型不仅会根据照片上显示的生物特征进行推断还会根据图片上字母R的风格与位置进行推断如图1所示。图1 用作训练的X射线图片DeGrave和 Joseph Janizek 都是计算机科学家Su-In Lee位于西雅图的生物和医学科学可解释AI实验室的成员他们于2021年5月在《Nature Machine Intelligence》上发表了一篇论文报告了前文所述问题。机器学习模型的决策过程通常被学者称为黑匣子因为研究人员通常只知道模型的输入和输出但很难看到模型里面究竟发生了什么。DeGrave和Janizek 使用旨在测试AI系统并解释它们为什么这样做的技术来打开这些黑盒子即构建可解释的AI模型。构建可解释的AIeXplainable AIXAI有很多优势在医疗环境中了解模型系统做出特定诊断的原因有助于让病理学家相信它是合法的因为在某些情况下法律要求做出解释。例如当一个贷款系统就用户贷款资格做出决定时美国和欧盟都要求提供证据证明拒绝信贷不是出于法律禁止的原因例如种族或性别。深入了解AI系统的内部工作原理还可以帮助计算机科学家改进和完善他们创建的模型甚至可能会带来关于如何解决某些问题的新想法。然而只有当XAI给出的解释本身是可理解和可验证的并且构建模型的人认为这是值得的努力时XAI的好处才能实现。神经元DeGrave和Janizek研究的深度神经网络因其不可思议的能力而广受欢迎因为它们能够通过曝光来了解照片中的内容、口语的含义等等。这些神经网络的工作方式与人脑相似就像某些活性神经细胞响应外部刺激从而以某种模式发射一样。例如神经网络中的人工神经元会在他们收到的输入的基础之上当看到一只猫时会触发与看到一棵树不同的模式即神经元会寻找到二者之间的差异性。在这种情况下神经元是数学函数输入数据以数字形式进入系统。例如描述照片中像素的颜色然后神经元对该数据执行计算。在人体中神经元只有在收到的刺激超过某个电阈值时才会发出信号。类似地人工神经网络中的每个数学神经元都用一个阈值加权。如果计算结果超过该阈值则将其传递给另一层神经元进行进一步计算。最终系统会学习到输出数据与输入数据之间关系的统计模式。例如被标记为有猫的图像将与那些标记为没有猫的图像存在系统差异然后这些明显的差异可以帮助AI模型在其他图像中确定猫存在的可能性。神经网络的设计与其他机器学习技术存在差异。神经网络模型作用于输入的计算层即hidden layer越多解释模型在做什么的难度就越大。马萨诸塞州波士顿大学的计算机科学家Kate Saenko说“简单的模型例如小型决策树并不是真正的黑匣子。小型决策树‘基本上是一组规则’人类可以很容易地理解该模型在做什么因此它本质上是可解释的。然而深度神经网络通常过于复杂一个神经网络涉及数百万计算或者现在更可能是数十亿计算学者们很难对其内在工作机理进行解释”。一般来说解释深度神经网络神秘工作原理的工作涉及到找出输入数据的哪些特征会影响输出结果。帮助DeGrave和Janizek确定胸部 X 射线图片上的方向标记字母R影响诊断的一种工具是显着性图Saliency Map这是一种用颜色编码的图表显示计算机在推断时最关注图像的哪一部分。如图2所示。Saenko 和她的同事开发了一种称为D-RISE用于解释AI的检测器随机输入采样的技术来生成此类映射。研究人员拍摄了一张照片例如一个装满鲜花的花瓶图2并系统地屏蔽了图像的不同部分然后将其展示给负责识别特定对象例如花瓶的AI模型。然后他们记录每组像素的模糊程度如何影响结果的准确性并根据每个部分对识别过程的重要性对整张照片进行颜色编码。不出所料在一张装满鲜花的花瓶的照片中花瓶本身被明亮的红色和黄色照亮这表明AI识别花瓶时花瓶本身的存在很重要。但这并不是图片中唯一突出显示的区域。“显着性一直延伸到一束鲜花”Saenko说“它们没有被标记为花瓶的一部分但模型了解到如果你看到鲜花这个物体更有可能是花瓶。”D-RISE突出强调了会导致 AI 模型改变其结果的因素。“这有助于了解他们可能犯了什么错误或者他们是否出于错误的原因做某事”Saenko说他在该领域的工作部分由美国国防高级研究中心运营的现已完成的XAI项目资助。更改输入数据以识别重要特征是探究许多AI模型的基本方法。但宾夕法尼亚州匹兹堡卡内基梅隆大学的计算机科学家Anupam Datta表示这项任务在更复杂的神经网络中变得更具挑战性在这些复杂的情况下科学家们不仅要弄清楚哪些特征在模型推断中发挥作用以及这个作用效果有多大而且还要弄清楚一个特征的重要性如何随着其他特征的变化而变化。“因果关系仍然存在因为我们仍在试图找出哪些特征对模型的预测具有最高的因果影响” Datta说“但测量它的机制会发生一点变化。”与Saenko的显着性图一样Datta系统地屏蔽了图像中的单个像素然后为图像的该部分像素分配一个数学值表示由于遮挡该部分而导致的变化幅度。看到哪些像素是最重要的可以告诉Datta隐藏层中的哪些神经元在结果中的作用最大从而帮助他更好地解释模型工作原理。可解释性的好处DeGrave和Janizek通过另一种复杂神经网络来测量显著性图这种网络叫做生成对抗网络generative adversarial networkGAN。典型GAN由一对网络组成一个负责生成数据如街道的图像另一个尝试确定该输出是真实还是虚假的。这两个网络不停地以这种方式交互直到第一个网络可靠地创建能够欺骗另一网络的图像。在他们的案例中研究人员要求GAN将COVID-19阳性X射线突变转为COVID-19阴性图片通过查看GAN修改了X射线图片的哪些方面研究人员可以确定图片的哪一部分对AI模型产生了作用从而增加模型可解释性。尽管GAN原理简单但研究人员对这对网络的微妙动态改变还不是很清楚。“GAN生成图像的方式很神秘给定一个随机输入的数字GAN最终会输出一张看起来很真实的图片”计算机科学家Antonio Torralba说。Torralba和他的团队负责剖析GAN查看GAN的每个神经元到底在做什么就像Datta一样他们发现GAN中一些神经元会特别专注于某些特定概念。“我们找到了负责绘制树木的神经元组负责绘制建筑物的神经元组以及绘制门窗的神经元”Torralba说。图2 显著性图示例图中指出AI在识别花瓶时也注意到了花瓶中的花朵Torralba说能够识别出哪些神经元正在识别或产生哪些物体这为改进神经网络提供了可能性而无需向其展示数千张新照片。如果一个模型已经被训练来识别汽车但它所训练的所有图像都是铺砌路面上的汽车那么当展示一张雪地上的汽车图片时模型可能会无法识别该车。但是了解模型内部连接的计算机科学家能够调整模型以识别一层雪使其相当于铺砌的表面从而提高模型识别该类型图片的准确率。类似地可能想要自动创建不可能的场景的计算机特效设计师可以手动重新设计模型来实现这一点。可解释性的另一个价值是了解机器执行任务的方式可以让使用模型的人了解模型如何以不同的方式做事并修改模型做其得更好。计算生物学家 Laura-Jayne Gardiner 训练了一个AI来预测哪些基因在调节生物钟控制一系列生物过程的内部分子计时器中起作用。Gardiner和她在IBM Research Europe和英国诺里奇生命科学研究小组Earlham Institute的同事也让计算机突出了它用来决定基因是否可能在昼夜节律中发挥作用的特征。“我们只关注基因调控的启动子”加德纳说“但AI在基因序列中发现了研究人员会忽略的线索”,加德纳解释说该团队可以在实验室的研究中使用AI来进一步完善其对生物学的理解。AI准确性和可信度卡内基梅隆大学的计算机科学家 Pradeep Ravikumar 说解释AI是一个开始但也应该有一种方法来量化它们的准确性他正在研究自动化这种评估的方法他认为对人类来说似乎有意义的解释实际上可能与模型实际在做什么几乎没有关系。“如何客观评估解释AI这一问题仍处于早期阶段”Ravikumar 说“我们需要得到更好的解释也需要更好的方法来评估解释。”测试解释真实性的一种方法是对它所说的重要特征进行小的改动。如果解释正确那么输入的这些微小变化应该会导致输出的巨大变化。样对不相关特征的大改动,比如从猫的照片中删除一辆公共汽车应该不应该影响模型判断结果。如果更进一步评估AI不仅可以预测哪些特征很重要还可以预测如果对这些特征进行微小更改模型的推测判断结果将如何变化。“如果一个解释实际上是在解释模型那么它就会更好地了解模型在这些微小变化下的表现”Ravikumar 说。解释AI内在工作原理有时看起来像是一项繁重的工作以至于许多计算机科学家可能会想跳过它并从表面上看待AI的结果。但至少某种程度的可解释性相对简单例如显着性图现在可以快速且廉价地生成相比之下训练和使用GAN更加复杂和耗时。“你肯定必须非常熟悉深度学习的东西以及一台带有一些图形处理单元的好机器才能让它工作”Janizek 说。他的团队尝试的第三种方法——使用照片编辑软件手动修改数百张图像以确定某项特征是否重要——甚至更加耗费人力。机器学习社区的许多研究人员也倾向于在模型可解释性和准确性之间进行权衡。他们认为庞大的计算量使得神经网络输出更准确也使它们超出了人类的理解范围。但有些人质疑这种权衡是否真实Janizek 说。“最终可能会出现这样的情况即一个更可解释的模型是一个更有用的模型和一个更准确的模型。”Ravikumar 说无论可解释性的挑战是大是小一个好的解释并不总是足以说服用户依赖一个系统知道为什么人工智能助手例如亚马逊的 Alexa以某种方式回答问题可能不会像禁止滥用私人对话记录的法律那样促进用户之间的信任也许医生需要临床证据证明计算机的诊断随着时间的推移证明是正确的。政策制定者可能会要求将有关使用此类系统的一些保护措施写入法律。然而在解释领域人工智能研究人员已经取得了长足的进步。Torralba 说尽管可能仍有一些细节需要制定以涵盖正在使用的各种机器学习模型但这个问题可能会在一两年内得到解决。他说“人们总是谈论这个黑匣子我们不认为神经网络是黑匣子。如果他们工作得非常好那么如果你仔细观察他们所做的事情是有道理的。”未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市大脑研究计划构建互联网城市大脑技术和企业图谱为提升企业行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”