探析可解释人工智能技术在军事中的应用.docx

《探析可解释人工智能技术在军事中的应用.docx》由会员分享，可在线阅读，更多相关《探析可解释人工智能技术在军事中的应用.docx（12页珍藏版）》请在第一文库网上搜索。

1、探析可解释人工智能技术在军事中的应用目录摘要1前言21 .什么是可解释的人工智能31.1. 概述31.2. 简单定义的可解释人工智能41.3. 为什么可解释的人工智能很重要41.4.可解释的人工智能有助于识别人工智能偏见和审计52.评估XA1技术61. 1.人为因素评估62. 2.评估局部解释技术82.2.1.前述82.2.2.删除82.2.3.插入92.2.4.评估指标103.结论I1摘要近期，由于人工智能(A1)和机器学习，尤其是深度学习的进步，可解释人工智能(XA1)研究领域受到了广泛的关注。XAI这一研究领域的重点在于确保A1系统的推理和决策可被人类用户理解。在军事领域，可解释性通常要

2、保证以下几点：人类用户运行的A1系统拥有恰当的心理模型；专家可从A1系统及其隐性战术和战略行为中获得见解和知识；A1系统遵循国际和国家法律；开发者能够在部署前确定A1系统的缺陷或错误。本文依据瑞典国防研究所报告探索军事深度学习应用程序中的可解释人工智能技术认为，这类A1系统由于建模过程过于复杂，无法使用其他可解释的替代方案，因此本质上难以理解。尽管深度学习的XA1领域仍处于发展初期，但已出现不少解释技术。当前的XA1技术主要用于开发用途，如确定错误等。不过，如果这些技术可为用户使用的AI系统打造合适的心理模型、进行战术开发并确保未来军事A1系统遵循国家和国际法律，那么就应对其进行更多的研究。本

3、文将依据该报告，介绍XA1技术及其在军事中的应用。关键词：人工智能，可解释人工智能，深度学习前言当今人工智能（A1）成功的主要原因是机器学习（M1）的突破，更确切的说，是深度学习（D1）的突破。深度学习是一项具有颠覆性潜力的技术，人们使用深度神经网络可实现传统技术无法完成的复杂建模。如，深度学习可以用于准确的转写（言语到文本）、翻译（文本到文本）、进行即时战略游戏（影像到动作卜读唇语（影像到文本）、面部识别（图片到识别）以及控制自动驾驶车辆（影像到行动）等。然而，由于深度学习仍处于发展初期，且不存在能够保证模型准确性的数学框架，因此，在开发、部署、运用和维护军用神经网络模型时，势必会遇到很多挑

4、战和问题，需要人们不断思考并找出解决方案。在作战人员、数据分析师等军事人员看来，最大的挑战或许在于可解释性。根据经验，如果行动会影响到人类生活，则对可解释性的需求将大大提高。可解释性之所以重要，是因为它会影响用户对系统的信任和依赖。信任关系必须保持一定的平衡，信任程度过高会导致对系统的误用，信任程度过低，则系统无法发挥作用。归根结底，解释旨在帮助用户为系统建立合适的心理模型，以保证系统得到有效的利用。深度学习有提升战斗机、潜艇、无人机、卫星监视系统等复杂军事系统的自主性的潜力，但它也可能使这些系统变得更加复杂、更加难以解释。主要原因在于，深度学习是“端到端”的机器学习技术，即机器通过学习从输入

5、数据中提取最重要的特征从而获得高性能。这一过程区别于人工通过直觉提取特征的传统技术，被称作表征学习。表征学习常常能够带来高性能，但它同样要求模型具有高度表达力和非线性特征。因此，使用深度学习训练而成的深度神经网络可能包含数百万甚至数十亿个参数，就算人们已经对算法、模型架构、训练数据等有了深入的了解，也难以解释这些模型。美国国防部先进研究计划局（DARPA）于2016年启动了可解释人工智能（XAD项目，项目旨在：一、生成可解释性更高的模型，同时维持高水平的学习性能（预测准确度）；二、使人类用户能够理解、适度信任和有效管理新一代A1工具。该项目启动后，取得了多项技术进步。一些XA1技术已被打包到软

6、件库并进行运行。军事人员可利用这些软件库来深入了解深度神经网络，同时消除其错误并对其进行校验。这一步在大方向上没有错，但从军事角度出发，为军事用户量身定制XAI技术和工具同样关键，这要求其具备高解释水平。1 .什么是可解释的人工智能1.1. 概述可解释的人工智能意味着人类可以理解IT系统做出决定的路径。人们可以通过分解这个概念来探究人工智能如此重要的原因。虽然人工智能应用越来越广泛，但关于人工智能也有一些误解。有些人采用“黑盒”这个术语描述人工智能，认为其内涵是神秘和不祥的部分，其“x档案”的内容比IT日常业务还要多。然而，像机器学习或深度学习这样的人工智能系统，确实需要人工输入，然后在没有可

7、解释的场景的情况下产生输出（或做出决定）。人工智能系统做出决定或采取行动，人们不一定知道它为什么或如何达到这个结果。人工智能系统就是这么做的，而这就是人工智能的黑盒模型，它确实很神秘。在某些用例中应用很好，而在其他情况下却不一定。PubNub公司首席技术官兼联合创始人StephenB1um表示：对于像人工智能驱动的聊天机器人或社交信息的情感分析这样的小事情，而人工智能系统是否在黑盒中运行并不重要。但是对于人类具有巨大影响的用例（例如自动驾驶车辆、飞行导航、无人机、军事应用）能够理解决策过程是至关重要的任务。随着人们在日常生活中越来越依赖人工智能，需要能够理解其思维过程，并随着时间的推移做出改变

8、和改进。”输入可解释的人工智能一一有时以缩写词XAI或类似术语（如可解释的AD来表示。顾名思义，它可以被人类解释和理解，虽然这是一种有点简化的方式，是一种可解释的人工智能。以下是最近的HBR公司分析服务研究报告现实世界人工智能的执行指南中更明确的定义：“机器学习技术是一种使人类用户能够理解、适当信任和有效管理的人工智能。”而包括美国国防部高级研究计划署（DARPA）在内的多个组织正在努力解决这个问题。“信任”这个词很关键。为此，人工智能专家Bk1m和其他专家提出了可解释的人工智能定义，并解释这一概念对于从金融服务到医学等领域的人工智能工作的组织至关重要的原因。这种背景可以加强组织成员和团队的理

9、解，并帮助组织中的其他人员理解可解释的人工智能及其重要性。以下先从定义开始。1.2. 简单定义的可解释人工智能SAS公司执行副总裁兼首席信息官KeithCo11ins说，“，可解释的人工智能术语是指人类能够通过动态生成的图表或文本描述轻松理解人工智能技术做出决策的路径。”PubNub公司首席技术官和联合创始人StephenB1Um说，可解释的人工智能可以等同于数学问题中的展示工作所有的人工智能决策过程和机器学习都不是在黑盒中进行的一一它是一种透明的服务，具有被人类从业者解剖和理解的能力。”Suther1and公司首席分析官PhaniNagarjuna说，可解释的人工智能是我们可以解释人工智能的

10、结果，同时在人工智能达到结果的路径上能够清楚地解释从输入到结果。”SPR公司数据分析师AndrewMaturo说，“可解释的人工智能是一种机器学习或人工智能应用，伴随着易于理解的推理，它如何得出一个给定的结论。无论是通过先发制人的设计还是回顾性的分析，都在采用新技术来降低人工智能的黑盒不透明性。”CognitiveSca1e公司创始人和首席技术官MattSanchez说，简单来说，可解释的人工智能意味着人工智能在其操作中是透明的，这样人类就能够理解和信任决策。组织必须问这个问题一一那么能解释其人工智能是如何产生这种特定的洞察力或决策的吗？”1.3. 为什么可解释的人工智能很重要SanCheZ的

11、问题引发了另一个问题：为什么可解释的人工智能很重要？其原因是多方面的，这可能对人们、企业、政府和社会产生巨大影响。在此考虑一下“信任”这个词。IBMWatSOn物联网高级产品经理HeenaPUrOhit指出，人工智能（IBM称之为“增强型智能）和机器学习已经在以复杂的方式处理大量数据方面做得非常出色。但PUrohit说，人工智能和机器学习的目标是帮助人们提高工作效率，做出更明智、更快速的决策一一如果人们不知道他们为什么要做出这些决策，这就更加困难了。PUrOhit说：“由于人工智能的目的是帮助人们做出更高的决策，当用户改变行为或根据人工智能输出（或）预测采取行动时，企业就实现了人工智能解决方案

12、的真正价值。但是，为了让用户改变自己的行为，就必须相信系统的建议。当用户感觉到有能力并知道人工智能系统如何得出建议（或）输出时，就会建立这种信任。”从组织领导的角度来看，可解释的人工智能在某种意义上是让人们信任并购买这些新系统，以及它们如何改变人们的工作方式。“看到人工智能黑盒问题仍然存在，我现在确保我们的人工智能解决方案是可以解释的。Purohit补充说，“在设计人工智能产品以确保可以解释人工智能时，我想问的一个问题是：人工智能是否使人类容易理解、检测和理解其决策过程？”1. 4.可解释的人工智能有助于识别人工智能偏见和审计可解释的人工智能对于信任和透明度至关重要的其他领域将越来越重要，例如

13、任何人工智能偏见可能对人们产生有害影响的场景。SPR公司的MatUrO说，“尽管这种解释的任务很麻烦，但这是一项值得努力的尝试，通常可以揭示模型中的偏见。在许多行业中，这种透明度可能来自法律、财政、医疗或道德义务。在可能的情况下，模型看起来越不神奇，它的用户就会越多。”可解释的人工智能对于问责制和可审计性也很重要，它将（或者至少应该）仍然存在于组织的人员中，而不是其技术中。“企业和个人总是需要进行决定。只是按照算法推荐的做法并不具有说服力。Ness公司数字工程首席技术官MoSheKranC说。KranC指出，可解释的人工智能对于识别错误的结果是至关重要的，这些错误的结果来自于诸如有偏见或调整不

14、当的培训数据和其他问题。能够跟踪人工智能系统得出不良结果的路径可以帮助人们解决潜在问题，并防止它们再次发生。“人工智能技术并不完美。尽管人工智能的预测可能非常准确，但模型总是有可能出错。C1araAna1ytiCS公司数据科学主管Ji1i说，“人工智能技术具有可解释性，帮助人类快速做出基于事实的决定，但允许人类仍能使用他们的判断力。有了可解释的人工智能，人工智能将成为一种更有用的技术，因为人类并不总是相信或从不相信预测，但却不断帮助改进预测。”事实上，可解释的人工智能最终将使人工智能在商业环境和日常生活中变得更有价值，同时也防止了不良后果。“可解释的人工智能对业务很重要，因为它为我们提供了解决

15、问题的新方法，适当地扩展流程，并最大限度地减少人为错误的机会。提高的可视性有助于增强理解，并改善客户体验。”SAS公司首席信息官ConinS说。CoIHnS指出，这在医疗和银行等受到严格监管的组织尤为重要，这些组织最终需要能够展示人工智能系统是如何做出决定或结果。而即使在不需要审计其人工智能的行业中，可解释人工智能的核心信任和透明度也是值得的，他们可以具有良好的商业意识。“在采用可解释的人工智能的情况下，人类增强了技术的知识和经验，以调整和加强分析模型以供将来使用。CO1IinS说，。“人类的知识和经验有助于学习技术，反之亦然。这是一个持续的反馈循环，可以成为企业的一种动态资产。”2.评估XA

16、I技术XAI领域一个常被忽视但又至关重要的环节是对提出的XA1技术进行评估。本节将从人为因素出发，引入评估标准。人为因素评估中，作战人员、分析师等用户是衡量A1系统中XAI效果的核心。本节还将介绍可用于比较局部XAI技术的测试方法。2.1. 人为因素评估对XAI技术的人为因素评估将测试各解释是否考虑了全部重耍因素，以便用户充分利用A1系统。比如，用户可能有不同的目的、需求、知识、经验、任务背景、使用案例等。和开发各类系统一样，在从系统规格到用户测试的A1系统开发全流程中，将以上因素纳入考量十分重要。由于深度学习的XA1技术是一个新兴的研究领域，因此该技术的初始用户通常是对模型性能评估感兴趣的系统开发人员。然而，目前还无法确定这些XA1技术是否对军事用户有用。可解释A1指标：挑战