【知远导读】本文编辑节选自美国海军分析中心发布的专题报告《人工智能技术安全性———对海军的行动方案建议》。该报告从当前美国海军推动军事领域人工智能技术应用过程中引发的公众关切进行介绍入手，重点对此项技术带来的安全性问题及其应对解决措施做多元化的分析阐述。报告主体内容在对其安全风险因素进行归纳分类的基础上，以AI技术算法中存在的偏见问题和自主控制武器系统的实战运用安全性问题为实例进行了详细剖析。文末，以海军在提高人工智能技术安全性所能采取的技术性工作步骤和机构性调整建议收尾。此报告对研究美国海军乃至整个国防部系统在军事领域接收采用新兴技术方法的总体态度与思路、应对解决新兴技术带来的新问题的具体工作流程而言，具有较高的借鉴价值。

  推送部分为节选，报告全文约39000字，希望阅读完整版本的读者请登录知远官网查询。

  美国海军乃至整个国防部系统，都在严肃认真地对待军事能力中的安全性问题。在国防部与硅谷之间展开的对话中，这一点让业界的技术专家感到吃惊，他们已习惯了业界通行的方式方法。在这些方式方法中，尽快投入运用甚至迅速招致失败，都是取得商业成功过程中不可或缺的部分。相比之下，国防部的工作程序是审慎而迟缓的，其中还包括有测试与评估（T＆E）工作程序以及法理性审查步骤。原因主要在于，以负责任的方式提供致命武力、以负责任的方式对待纳税人提供的资金，正是国防部业务的一部分。

  将新兴技术集成到作战行动时产生对其安全性的忧虑，并非人工智能技术的独有问题。战争活动中武器系统的运用方式是受法律制约的——特别是《日内瓦公约》中明确的武装冲突法。该法律体系要求军队以符合法律要求的方式使用武器或武器系统，以遵守并体现军事方面的必要性、加以区别及相称性原则。美国对此制定了相应的流程和原则，以确保包括人工智能技术方法在内的所有军事能力都符合有关法条和公约的要求。

  考虑到这一些因素，人工智能技术的哪些特殊属性可以让我们进一步加以关注？公众对用于军事应用人工智能技术安全性的关注与忧虑，部分源于对人工智能技术水平状态的误解。如，埃隆·马斯克（Elon Musk）对此项技术表达出的恐惧，其基础便是通用人工智能技术，而这种人工智能技术方法当前并不存在，而且在不久的将来也不可能会出现（并且可能永远都不可能会出现）。 1 然而，鉴于当前的技术水平，对人工智能技术应用方案的别的方面进行关注也是合理的。海军自然会对人工智能技术的安全性予以关注，毕竟符合法理性和伦理性的行为一直都是海军坚定坚持的原则，包括在使用武力方面。而且，人工智能技术在这方面的运用手段也没什么不同。然而，人工智能技术也确实引发了一些需要加以关切的考虑，而海军一定要重视其安全性问题。在风险管控框架中，可以将这些考虑因素视为管理风险的第一步——确立环境背景。该步骤，“界定了在管控风险时必须要考虑的外部和内部条件参数”。其中包含两方面要素：外部环境背景与内部环境背景。 2 我们在这里对外部环境背景——即与实现任务目标有关的外部因素——进行讨论。这一些因素有助于判断风险因素的潜在影响，也有助于确定评估和解决风险因素各项工作的优先次序。将人工智能技术运用于美国海军时，这些考虑因素包括：

  ·军方必须对人工智能技术给予“恰到好处（Goldi locks）”的信任

  ·战车。战车，是出现在战场上的第一种车辆装备，由民间通用马车提高速度和机动性改进而来，在军事运用方面取得了显著的优势。战车被描述为当时的“超级武器”。

  ·火药。火药源起于一个偶然发现，它的出现，使得军队能够驾驭化学反应能量来提高速度与威力，由此彻底改变了战争的形态和样式。

  ·十字弓。十字弓问世后，凭借着数倍于普通弓箭的威力和显著提升的精度，使得那些穿戴配用甲胄的贵族在战场上的优势荡然无存。这种杠杆放大作用的影响，使既有的强势一方非常担忧，以致于动用教会力量宣布在某些情况下禁止使用十字弓。

  ·内燃机。这种发动机继承并发展了蒸汽机的优势，改变了战争活动的速度与范围。对内燃机的应用方案，包括为后勤物流（补给运输卡车）提供动力以及为潜艇、飞机与导弹赋予持久的远程监视及打击能力。

  对大多数技术方法的接收和运用，一度都曾起到了改变了战争样式的作用。而其中有几项，更是彻底颠覆了以往战争活动的样式和范围，其中便包括火药与核武器。人工智能技术，亦被认为位居此类。此项技术能够应用于整个战争事业的方方面面，大幅度提高了战争活动的效能与效率。

  各类人工智能技术，也因其各自独有的特性而有所区别。首先应注意到，现实世界中人工智能技术应用方案，是用以解决特定领域问题的狭义人工智能技术，而非具备普遍通用性的通用人工智能技术应用方案。在下一章中，我们将讨论两种类型的人工智能（当前和近期仅有狭义人工智能一类）。在此要说明的是，对于实际存在的人工智能技术来说，其某些特征特性与其它现存技术存在本质的区别。例如，运用大型数据集在复杂的多维空间内求解最佳曲线拟合方案的机器学习技术，其运行运算方式是我们没办法想象和理解的。这种情况，带来了多方面的影响，比如在建立信任和进行认证的过程中，一定要采用一种新的方法来测试与评估此类军用项目的工作过程。

  人工智能技术在军事领域的应用，可以与美国军队对核武器的运用方式来进行类比：安全方面的关键性技术领域知识，必须在很大程度上由文职机构掌握。同样，海军需要理解和响应的人工智能技术知识，在很大程度上亦属技术范畴。

  人工智能技术的巨大进步，也使海军产生了对业界新的依赖性。自第二次世界大战以来，美国政府一直在很大程度上依赖于自身投入的研发资金。然而，人工智能技术方面的研发投资，慢慢的变多地由私营机构所主导。其特征，是过去十年来科技行业的研发支出飞速增加。在图1中，我们将整个美国政府在网络和信息研发技术方面的支出与美国排名前五位的高科技公司（亚马逊、谷歌/阿尔法控股、英特尔、微软、苹果）的研发投资进行了对比。如图1所示，科技行业企业在研发方面的投入明显更多，而且两者间的差距正在扩大。2010年，科技行业企业的研发支出，已经是美国政府整体科学技术研发投资规模的6倍。8年后，企业在这方面的投入规模将激增至美国政府的15倍。总体而言，美国政府在尖端技术方面研究工作的投资面临着迅速扩大的缺口。这种现状，为美国政府营造出了一种处于一直在变化中的环境。在这种环境中，与业界的协作，对于美国政府实现其战略目标一定要保持的技术优势而言至关重要。在这个意义上，人工智能技术安全性应该是业界关注的问题——正如谷歌等公司放弃了对美国政府军事领域应用方案的支持，并开始运用伦理性审查程序对其内部工作流程进行监测所证明的那样，海军必须与业界协作，依托其帮助解决此类问题。 3

  来源：拉里·刘易斯，《解析战争中的人工智能之战》，《皇家军队联合学会杂志（RUSI Journal）》，预出版稿，2019年9月10日。

  人工智能技术安全性，也与对其信任程度有关。美国军方运用人工智能技术方面的一个核心问题是，军方人员和美国政府高层领导能否相信这些系统确实有效且不会引发意外问题。2016年国防科学委员会对自主控制技术的研究报告说明：“决定在特定任务中部署运用某系统的个人，必须信任该系统。” 4 在伊拉克和阿富汗的行动表明，负责实施特定行动的指挥官和战斗/操作人员在不完全了解后果的情况下，不一定会使用某些系统。当某些系统被部署至战场以满足紧急需求时（如反简易爆炸装置（路边炸弹）系统或用于提供关键性情报的监视系统），一些部队还是选用了他们已熟悉的武器系统和情报监视侦察平台，即便是老系统的功能指标比不上那些已可以选用的新系统。 5

  对人工智能系统的信任度过低是一种危险，会阻止部队运用他们所需的功能。而另一种危险，则是对某项能力的过度信任。人类倾向于过度信任机器，即便在有证据说明不能够给予这种程度的信任情况下，也是如此。例如，在佐治亚理工学院进行的一项实验中，40名测试对象接到指示：跟随标有“紧急向导机器人”的机器人。首先，测试对象由机器人充当了向导，穿过一幢陌生的建筑物。机器人表现出不稳定且不可靠的行为，例如方向错误、绕圈运动甚至直接宕机。但是，当这些测试对象被置于看似紧急的情况下时，他们都会跟随机器人，而且坚信它可以将其引领到安全地带。 6 测试对象愿意跟随一台不可靠的机器的程度，使研究人员颇感惊讶。战争活动中的过度信任，也有具体案例。如，2003年，陆军“爱国者”防空导弹系统曾击落1架海军F/A-18飞机，该系统将飞机误判定为战术弹道导弹，并向操作人员提出了建议，要求其发射导弹实施拦截。操作人员在没有独立核实可用信息的情况下，批准实施了这项建议。同样，在阿富汗南加哈省东部实施的一场空袭行动，其行动决心依据某个基于技术方法的单一源头信息下定，而且在实施打击之前也未进行重新核查或回顾（revisited），直接引发美军飞机错误地将一场婚礼庆典当作袭击目标，造成数十名平民伤亡。 7 这表明，在实际作战行动中，军方需要对AI给予程度“恰到好处”的信任，不能过热也不可太冷，避免滑向两个极端。需要达成的目标，是程度恰当的信任，并且应该让人来参与决策过程。而这种决策过程，则需要以各种相关能力及对系统功能所具备的经验与知识为依托。

  军方和政府的高层领导，还应通过政策方针层面的决策对相关军事行动的性质施加影响，包括确定战争活动中应该使用哪些特定的技术方法。这些方针政策，可能会对监管程度构成影响（如，国防部第3000.09号指令，就要求对某些类型的自主控制管理系统进行高级别审核），明确战争活动中允许使用的技术方法（例如，对白磷（弹药）运用的限制和使用集束弹药时相关设定要求及对其它此类武器具体性能参数的限制要求），并且对某些特定类型作战行动中的策略原则进行限制。例如，《2013版总统政策指导（Presidential Policy Guidance，PPG）》及《2017版总统政策指导》中，对某些反恐行动的批准与监管流程的总体原则框架进行了明确。这些政策方针原则，有助于确保相关军事活动符合美国的原则、价值观及利益。这些政策方针层级的决定，都有反映出对此类系统或作战行动可靠性所应持有的信任程度的意味。有必要注意一下的是，以上这些实例内容都涉及到了安全性原则问题，而《国防部第3000.09号指令》的目的，就在于避免“意外交战（inadvertent engagements）”事件的出现（例如攻击己方和致使平民伤亡）。限制白磷弹药和集束弹药的目的，还在于减少使用这一些武器时给平民带来的危险。《2013版总统政策指导》中，直接将致使平民伤亡明确列为作战行动批准程序中的否决条件（no-gocriterion）。 8 因此能预见，安全性问题，势必将成为未来高层领导人对于将人工智能技术方法运用于战争活动方面所明确的相关指导与指令内容中的一部分。

  盟国与盟友，可被视为不对称优势因素的一部分，是美国对实力相当竞争者（如中国与俄罗斯）所实施抵消战略的组成部分。这些竞争对手所实施行动的性质，一般觉得应属单方面行动。在一个联盟架构中实施相关工作，能够为美国的军事行动带来诸多益处。其中之一是，相较于每个国家单独出力而言，联盟架构提供的集体力量要大得多。另一个重要的好处，是所实施的行动具有更强的合法性，包括实施战争行为的权力。联盟盟友还可提供美军兵力自身不具备的支援保障能力，以此协助美军作战行动。例如，在阿富汗赫尔曼德省的联合行动中，英军提供了航空平台和情报能力，在目标获取与提供空中支援方面对美国海军陆战队任务兵力起到了加强作用。 9

  然而，与盟友的合作也将导致一些挑战性因素，我们将其称为“摩擦点（frictionpoints）”。而这些摩擦点，在单方面行动中是不存在的。这些摩擦点会增加联军兵力所承担的成本与风险，并降低作战行动效能。其中一些摩擦点涉及到了各军事力量结构化方面的问题，例如兵力生成、共享互通、军事文化以及计算机信息系统间信息共享样式等方面的差异；而其他的摩擦点则涉及国家政策，例如不同的交战规则（ROE）、处置拘押人员原则、条约遵守程度以及各国各自提出的要求。 10 对于维护行动自由性和共享互通性而言，这是一个特别关键的领域。原因主要在于，一些盟友对先发制人行动的法理性或对自主控制武器与人工智能技术在军事领域其它方面的应用心存顾忌。总的来说，这些摩擦点的存在使得整合工作更加复杂化，并且降低了联盟伙伴之间所作努力的一致性。美国必须积极努力协调解决体制与政策上的摩擦点，方能继续保持联盟与盟友架构的不对称优势。

  出口政策原则与工作流程，便是其中一个相关主题。出于实现自身经济与战略目标的目的，美国一直是全球最大的武器与军用装备供应国。战略目标包括维持联盟和共同利益，并最大限度地提高彼此间的共享互通性，以此为实施联合作战行动创造条件。随着采用AI和自主控制技术的军用装备能力的发展，美国势必需要在应该向盟国提供能力及用于向美方装备进行支援保障系统的范围类型方面做出决策。除扩散问题外，还有一些对安全性和国家声誉风险的政策原则性考虑：例如，如果有国家引进美方制造的核心部件用于研发对人员使用致命性武力的系统，而且该系统没或基本没有采取安全性措施，如果发生一些不幸的事件，便有很大的可能性将平民的生命安全和美国的国家声誉置于险境中。因此，需要对此类出口项目进行政策性审查来管控风险。 11

  安全性对美国海军而言一直是一个重要的问题，现有的程序、法律及政策可提升军事行动的安全性。但即便如此，将人工智能技术运用于战争活动时，仍将面临一些特有的挑战，这在某种程度上预示着海军必须格外重视提高人工智能技术应用方案的安全性。

  【1】通用AI，是一种存在于假想中的人工智能技术，这种技术让人工智能可以像人类一样执行广泛的任务，能像人类一样进行理解与学习。例如，埃隆·马斯克对通用人工智能技术风险性进行了如下评论：“如果某个公司或一小群人设法发展出这种上帝一般的超级智能技术，他们就可以占领全世界。“他继续说到：“再邪恶的独裁者，也是要面临死亡的人类。但是对于人工智能技术来说，不会有死亡，它将永远存在。哪就也许会出现一个永生不灭的独裁者，我们永远也没办法摆脱它。”卡迪·汤普森，《埃隆·马斯克对人工智能接管一切后将发生的事情发出了噩梦般的警告》，《科学快讯》，2018年4月6日，。这并不是说，我们该低估这种风险。相反，与已经和可能投入实用化的应用方案相比，这一个话题应该是针对未来威胁而单独进行的讨论。

  【3】本段改编自即将于今年晚些时候在《皇家军队联合学会杂志（RUSI Journal）》上发表的文章《解析战争中的人工智能之战》。

  【5】拉里·刘易斯，《第三次抵消战略之洞见：应对军事行动中的自主控制与人工智能技术挑战》，2017年9月。

  【6】玛丽·贝斯·格里格斯，《人们相信机器人带领他们走出陷阱，即使事实并非如此》，《大众科学》，2016年3月1日，。

  【7】阿卜杜勒·瓦希德·瓦法、约翰·伯恩斯，《据悉美军空袭了一场阿富汗婚礼》，《》，2019年11月5日，https：//。

  【8】拉里·刘易斯，《第三次抵消战略之洞见：应对军事行动中的自主控制与人工智能技术挑战》，2017年9月。

  【9】亚历山大·鲍威尔、拉里·刘易斯、凯瑟琳·诺曼和杰里·梅耶尔，《摘要报告：美英两国在赫尔曼德地区的整合》，海军分析中心，2016年2月。

  【10】亚历山大·鲍威尔、拉里·刘易斯、凯瑟琳·诺曼和杰里·梅耶尔，《摘要报告：美英两国在赫尔曼德地区的整合》，海军分析中心，2016年2月。

  【11】我们注意到，这样审查工作流程也将必须应对解决防止关键技术落入对手手中的问题。避免潜在对手掌握关键技术，是美国1970至80年代“第二次抵消”战略的主要内容。在第三次抵消战略的核心部分——人工智能技术在军事领域应用中，也应该有类似的出口限制。但在真实的情况中，由于商业性实体占据着技术发展的主导地位，这些限制措施将更加难以落实。