人工智能武器对国际人道法的新挑战

奥鹏网院作业

人工智能武器对国际人道法的新挑战

摘 要：人工智能武器在国际法上仍然属于新生事物，“智能”或者“自主性”是其区别于传统武器的本质属性，从这个意义上，任何一种在“关键功能”上具备自主性的武器系统，也就是说能够在没有人类参与的情况下选择和攻击目标的武器或者武器系统都可以被称为人工智能武器。从国际人道法的角度来看，人工智能武器主要带来了两个方面的挑战：一是武器系统选择和攻击目标能否尊重国际人道法规则？二是如果武器系统的使用明显违反国际人道法，能否归责于个人或国家，并追究他们的责任？为了确保国际人道法得到遵守，各国一方面应当建立对新武器的国内法律审查机制，另一方面应当推动起草和制定有关人工智能武器的国际条约。
关键词：人工智能武器；自主武器系统；国际人道法；新武器；常规武器公约
一、引言
2017年英国Google DeepMind公司开发的人工智能围棋软件AlphaGo在乌镇围棋峰会上击败世界第一棋手柯洁。[注]宋莉：“人机大战第三局，AlphaGo堪称‘围棋之神’”，中国科技网-《科技日报》，网址：http://www.stdaily.com/index/kej ... ontent_547644.shtml，最后访问时间：2018-05-09。这一事件激发了人们对于人工智能的热切关注。除了惊叹人类在人工智能技术上所取得的巨大进步之外，人们还对未来人工智能可能给人类带来的威胁表示了担忧。尽管从技术角度上来看，距离开发出像人类一样聪明的人工智能程序仍然遥远，但是，当前对人工智能可能损害人类生命、健康或者财产安全的担忧却也并非杞人忧天，其中一个重要方面就是人工智能技术在军事武器方面的应用。
人工智能技术在军事武器上的应用，不仅能够在很多方面显著提高武器的作战效能，而且将会大大降低了己方的人员伤亡，各国很难抑制把这种新技术应用于武器的冲动。但是，交战者选择其作战方法和手段的权利并不是不受限制的，这是国际人道法的基本原则。[注]1907年海牙《陆战法规和惯例规章》第22条最早规定了这项原则，1977年《1949年8月12日日内瓦第四公约关于保护国际性武装冲突受难者的附加议定书》(《第一附加议定书》)第35条第1款对此亦有规定。而且，国际条约还规定任何准备在武装冲突中使用的新武器，应当符合国际人道法的要求，[注]参见1977年《1949年8月12日日内瓦第四公约关于保护国际性武装冲突受难者的附加议定书》(《第一附加议定书》)第36条。这自然包括了各种利用了人工智能技术的新的武器或者武器系统。目前，我们对人工智能武器的自身特征及其所可能带来的法律或者伦理上的后果，仍然缺乏清晰的认识。什么样的武器属于人工智能武器，它们的研发、部署和使用将会给人类带来何种影响，这种影响和后果是否符合国际人道法的要求，以及如何确保它们不会违反国际人道法的原则和规则，都是亟待解决的问题。本文将首先讨论人工智能武器的概念，并简要介绍当前应用了人工智能技术的主要武器类型，以及人工智能武器未来可能的发展趋势，然后重点从国际人道法的视角出发，分析这些新型武器可能给现有的国际人道法体系带来的冲击，最后探讨如何确保人工智能武器遵守国际人道法原则、规则和制度的要求。
二、人工智能武器的概念和特征
人工智能武器(Artificially Intelligent Weapons,AI Weapons)是一个新出现的事物，在国际法上尚无明确的定义。专家们对于使用了什么样的人工智能技术的武器系统能够被称作人工智能武器，仍然缺少统一的意见。如果单纯从日常对这个概念的使用而言，似乎所有应用了人工智能技术的武器或者武器系统，都可以被称为人工智能武器。然而，更为棘手的问题是，什么样的技术属于人工智能，本身就很难界定。这是因为一方面，对人工智能的研究从来就没有一个统一的方法和路径。如果从纯粹技术的角度回顾人工智能的发展历史，就会发现人工智能科学家们有的希望人工智能可以像人类一样思考，有的希望它可以像人类一样行动，另一些则希望它可以理性地思考，还有一些更重视它是否可以理性地行动。上述领域都有不同的人在使用不同的方法开展研究，因此，对人工智能的技术定义也通常可以相应地归入上述四种类型，而很难提出一个统一的普遍性定义。[注]Stuart Russell,Peter Norvig, Artificial Intelligence: A Modern Approach, 清华大学出版社2011年版(影印版)，pp.1-2.
另一方面，由于“人工智能效应”的存在，也导致人工智能很难被定义。人工智能技术始终处于不断发展之中，人们习惯上认为只有最尖端的机器才能被称为“智能”，这样就导致被归入人工智能的技术一直处于流变之中。例如，在上世纪60年代，下棋程序属于人工智能研究的前沿领域，但是今天一般认为它们不属于“智能”的范畴，它们只是“程序”；类似的还有飞机自动驾驶仪、税务申报软件、汽车巡航控制、智能手机、搜索引擎等设备，它们都包括了某些人工智能技术，但是由于人们已经熟悉了这些技术，它们通常被认为“自动化”技术，或者只是“计算机程序”，而不再认为其属于人工“智能”；这种现象被称为“人工智能效应”。这样一来，一种技术被称为“人工智能”的标准就处于持续变化之中。[注]UNDIR,The Weaponization of Increasingly Autonomous Technologies: Artificial Intelligence,Observation Report no.8 (2018),p.2,website: http://www.unidir.ch/files/publi ... lligence-en-700.pdf,last visited May 8,2018.
幸运的是，这些技术上的争论并非国际人道法所关心的问题。从法律的角度来看，人工智能武器不同于传统武器的最大特征就是这种武器具有“智能”，可以像人一样“自主地”作出是否实施某项活动的决定；也就是说，它们似乎已经不再是单纯的武器，而像是“武器+战士”的组合。这样的新型武器在作战的时候不需要人类操作，就可以按照预先编制的程序，对预先设定的目标开展攻击。这种情况是传统国际人道法从未预见而且也不可能预见到的，如何规范这种具备了“智能”和“自主性”的新型武器，是国际人道法面临的新挑战。
“智能”或者“自主性”是人工智能武器区别于传统武器的本质属性。对于人工智能武器而言，它们是同一个事物的不同侧面。智能是一个系统决定实现其目标的最佳行动路径的能力；而自主性则代表了一个系统在实现目标的过程中拥有的自由，更大的自主性意味着更多的自由，包括能够承担的任务更多、接受的监督更少、运行的周期更长、应对的环境更为复杂，等等。[注]id,p.5.智能程度更高的系统具备在更加复杂的环境里执行更为困难的任务，并选择最佳路径实现其目标的能力，这意味着它能够被赋予更高的自主性。为了维持人类对智能武器的监督能力，我们也可以有意地限制其自主性，但是，我们显然不能赋予一种武器超出其技术水平的自主性。因此，自主性直接代表了人类参与人工智能武器运作的方式和程度。考察人工智能武器的自主性，不仅可以把它和传统武器区别开来，而且也便于确定相关责任人，并进而确定有关人员是否履行了国际人道法义务。因此，大部分讨论人工智能武器的国际场合都使用了“自主武器” (Autonomous Weapon,AW)或者“自主武器系统”(Autonomous Weapon Systems，AWS)的概念。
在有关人工智能武器概念的讨论中，很多人一直希望把人工智能武器与“智能程度不那么高”的武器区别开来，甚至为此分别提出了“自动武器”和“自主武器”这两个概念。2011年，红十字国际委员会起草了一份标题为《国际人道法和当前武装冲突中的挑战》的研究报告，这份报告中较早地研究了所谓的“自动武器系统”(Automated Weapons Systems)和“自主武器系统”(Autonomous Weapons Systems)的概念。根据该报告，自动武器系统是指那些虽然需要人类操作员部署或者发布指令，但是能够通过自足和独立的方式发挥作用的武器或者武器系统。[注]ICRC,International Humanitarian Law and the Challenges of Contemporary Armed Conflicts,31IC/11/5.12,Oct.2011,p.39,website: https://www.icrc.org/eng/assets/ ... ort-11-5-1-2-en.pdf,last visited 30 April 2018.例如，自动哨兵枪、传感器引爆炸弹或者某些类型的反车辆地雷。自主性武器系统是指能够学习并且根据所部署环境中情况的改变调整自身功能的武器或者武器系统。[注]id.但是，该报告并未提及任何属于自主性武器系统的武器类型，而是似乎认为符合上述定义的具备真正自主性的武器尚不存在。2014年联合国人权理事会“法外处决、即决处决或任意处决问题”特别报告员克里斯托夫·海恩斯先生在向人权理事会提交的一份报告中，也强调了“自主”(autonomous)与“自动”(automatic)或者“自动化”(automated)的区别，他认为“自动系统……是在一个结构性和可预见的环境中运行。而自主系统可以在开放的环境和非结构性及动态背景下运行”，但是，同时表示“对机器人使用‘自主’或‘自主性’说法可能会引起误解。……(因为)有自我意识的机器人或强大的人工智能目前还尚未进入考虑之中”。[注]See Human Rights Council，Report of the Special Rapporteur on extrajudicial,summary or arbitrary executions,Christof Heyns,A/HRC/23/47,23th session,9 April 2013,para.42-43,website: https://undocs.org/en/A/HRC/23/47,last visited 30 April 30,2018.
事实上，在实践中很难对“自动武器”和“自主武器”作出区分。这一方面是由于一个武器系统通常同时包含了多种“人工智能”技术或者“自动化”技术，我们很难确定一个“自主武器”应当具备的标准和条件；另一方面，不同研究者对“自主性”的认定标准不同，从而会把同样类型的武器划入“自主武器”或者“自动武器”。例如，三星公司开发的自动哨兵枪在上述红十字国际委员会2011年报告中被认为属于自动武器，而海恩斯先生却把它归为“具有不同程度自主性的武器系统”的一种。[注]id.,p.45.
从技术的角度来讲，上述自动武器系统和自主武器系统都应用了人工智能技术，因此，从广义上说它们都属于人工智能武器。它们之间只是智能化的程度上的不同，即所谓的“弱人工智能”和“强人工智能”的区别。毕竟，具备完全的或者真正的“自主性”的武器(例如，电影《终结者》中斯瓦辛格扮演的“T-800”型机器杀手)尚未出现，而且可以预见，在相当长的时期内都不可能出现，也就是说，目前所有的自主武器在严格意义上都不具备真正的“自主性”。同时，从国际人道法的角度来看，我们也没有必要坚持所谓“自主武器”或者“自动武器”的分类。对于人工智能武器，人道法对于所关注的焦点是人工智能技术在哪些关键环节上取代了人类的作用，以及给国际人道法的实施带来了什么影响。
2015年，红十字国际委员会起草了一份新的《国际人道法和当前武装冲突中的挑战》(International humanitarian law and the challenges of contemporary armed conflicts)研究报告。与2011年报告不同，这份报告没有再提及自动武器系统和自主武器系统的区别，而是统一使用了自主武器系统(autonomous weapon systems)的概念。该报告指出，“国际上对于自主武器系统并无一致同意的概念，但是各种被提出的定义的共同见解是认为它是一种能够独立选择和攻击目标的武器系统”；而且，该报告认为“自主武器系统”是一个总括术语(umbrella term)，包括任何一种在“关键功能”上具备自主性的武器系统，也就是说能够在没有人类参与的情况下选择(即搜寻或者探测、识别、追踪和选择)和攻击(即使用武力攻击、压制、破坏或者摧毁)目标。[注]ICRC,International Humanitarian Law and the Challenges of Contemporary Armed Conflicts,32IC/15/11,Oct.2015,p.44,website: https://www.icrc.org/en/document ... ary-armed-conflicts,last visited May 1,2018.
应当说这是一个相当宽松的定义，它涵盖了任何能够独立选择和攻击目标的武器系统，不论它们被称作“高度自动化的”还是“完全自主的”武器系统，根据这个概念，几乎所有当前已经出现的、使用了人工智能技术的武器系统都可以归入“自主武器系统”的外延。但是，采取了这样一个宽松定义的后果就是，人工智能武器涵盖了在自主性程度、机动水平、部署的环境、攻击的目标等方面，有着很大的区别的各种不同的武器系统，它们给国际人道法带来的挑战也各不相同，我们无法在这个问题上对各种不同的人工智能武器给出一个统一的答案，而只能根据每种武器的自身特点，来分析它们违反国际人道法的风险；更重要的是，当前人工智能正处在高速发展时期，未来人工智能武器在“智能化”和“自主性”方面必然会有更大的提升，从而它们违反国际人道法的风险也自然将会大大提高。
三、当前人工智能武器的主要类型及其未来发展趋势
进入新世纪以来，人工智能技术被广泛地应用于武器系统，用于搜寻、识别、锁定、跟踪目标物，以及启动对目标物的攻击。但是，不同类型的人工智能武器在国际人道法上的风险是不相同的。根据红十字国际委员会(ICRC)和联合国裁军事务办公室(UNODA)的有关研究，[注]See ICRC,Autonomous Systems Implications of Increasing Autonomy in the Critical Functions of Weapons,Versoix,Switzerland,15-16 March,2016 website: https://www.icrc.org/en/publicat ... ous-weapons-systems,last visited 29 September 2018; UNDIR,The Weaponization of Increasingly Autonomous Technologies: Artificial Intelligence,Observation Report no.8 (2018),website: http://www.unidir.ch/files/publi ... lligence-en-700.pdf,last visited 29 September 2018.当前各国实际部署的人工智能武器主要以下类型：
(一)反火箭、火炮、迫击炮系统(Counter-Rocket,Artillery,Mortar,C-RAM)
反火箭、火炮、迫击炮系统用于船舶和地面设施的近距离防御，可以抵御导弹、火箭、火炮、迫击炮、飞机、无人机的攻击，是一种应用非常广泛的短程防御系统。具有代表性的C-RAM系统有美国的陆基“密集阵”武器系统(Land-based Phalanx Weapon System)和舰载“密集阵”近程防御系统(Phalanx Close-in weapon system)，以色列的“铁穹”(Iron Dome)防御系统，等等。 “密集阵”武器系统能够自动探测、追踪、选择和攻击目标，但是，实施攻击的决定仍然由人类作出。人类指挥官决定什么情况下启动武器系统，并在整个武器系统运作期间实施监督，而且能在任何需要停止攻击的时候，关闭武器系统。“密集阵”系统定期更新商业(民用)飞机的飞行信息和“友方”飞机的信息，根据这些信息，计算机将会决定武器系统启动期间的“交战区”(engagement zones)。该武器系统使用了自毁弹药，降低在弹药没有击中目标的情况下给平民或者其他目标带来的风险。事实上，自从“密集阵”武器系统部署以来，尚未发生过任何一起所谓的“附带性损害”(collateral damage)事故。
(二)车辆“主动防御”武器(vehicle active-protection weapons)
车辆“主动防御”武器用于保护装甲车辆免遭导弹、火箭和火箭推进榴弹的袭击。以色列“Trophy”武器系统(又叫做ASPRO-A)是一种著名的车辆主动防御武器系统，它安装在坦克和装甲车辆之上，用于拦截任何来袭的反坦克武器，例如导弹、火箭、火箭推进榴弹，等等。“Trophy”系统具有360度全视角，能够应对来自不同方向的多重袭击，一旦其雷达侦测到来袭的各种射弹，系统的内置计算机能够立即计算出其弹道轨迹，并在射弹到达之前确定其类型，然后计算出最佳的时间和角度开火拦截。为了及时应对来袭的各种威胁，这种武器系统往往具有较高的自主激发能力，但是它们的杀伤半径通常限制在很小的范围内，从而确保不会危及附近的“友军”车辆和人员。
(三)巡飞弹(loitering munitions)
巡飞弹又被称作“自杀无人机”(suicide drones)或者“神风无人机”(kamikaze drones)，它在发射之后能够在目标地区上空游荡，利用机载传感器和预先编程的目标物识别标志，自主地搜寻、识别、确定和攻击目标；它的优势在于能够在隐蔽目标短暂出现的时间内迅速锁定目标，并发动攻击，主要用于打击敌方地空导弹基地和其他地面目标。巡飞弹是一种处于巡航导弹和无人战斗机之间的武器，与巡航导弹不同的是，它能够在目标地区上空游荡一个相对较长的时期，并自主选择目标；与无人战斗机不同的是，它拥有内置弹头，通过自爆的方式攻击目标。巡飞弹药出现于上世纪八十年代，目前，世界上有十多个国家拥有此种武器，比较著名的有以色列的“IAI Harpy”，美国的“Raytheon Coyote”，韩国的“Devil Killer”，我国也拥有“Ch-901”、“WS-43”、“ASN-301”等多种型号的巡飞弹。
(四)“一劳永逸”型鱼雷(fire and forget torpedoes)
“一劳永逸”型鱼雷主要用于打击各种核潜艇和常规潜艇。这种武器可以通过飞机、水面舰船或者潜艇发射，利用机载设备自主引导鱼雷侦测、追踪和攻击目标。最著名的“一劳永逸”型鱼雷是意大利和法国联合研制的“MU90”轻型鱼雷，这种鱼雷装有主动声纳，通过捕捉声学信号能够同时跟踪多个水下作战目标，它具有强大的数据处理能力，能够独立完成鱼雷的全部引导和控制任务，如确定鱼雷潜深、自动定向控制、航行稳定、航速变化、自主制导、目标跟踪，并作出发动攻击的决定。“一劳永逸”型鱼雷通常通过预先编制的程序，确保在一定深度之下工作，避免威胁到民用船舶。其他的“一劳永逸”型反潜艇武器还有俄国“Shova”火箭推进鱼雷。
(五)反人员“哨兵”武器(anti-personnel sentry weapon)
反人员“哨兵武器”又被称作“哨兵枪”(sentry gun)，用于保护特定场所、军营边界或者国境线。当前相对成熟的哨兵武器主要是韩国三星公司制造的“Samsung SGR-A”和以色列的“Sentry Tech”。“Samsung SGR-A”被认为是第一种整合了监视、追踪、射击和语音识别等多种功能的哨兵武器，最初的原型机于2006年研发成功，随后被部署在朝韩之间的非军事区，用于防范朝鲜士兵的越境行动。“Samsung SGR-A”使用红外线温度成像技术和红外线夜视技术来探测目标，以及一个用于追踪目标的激光测距仪，战斗部件包括一挺轻机枪和一个40毫米口径集成榴弹发射器。被锁定为攻击目标的人员一旦不能在规定时间内回答出正确的口令，这种哨兵武器就会自动击发。
上述五种武器或者武器系统代表了当前人工智能武器的主要类型，它们都具备了一定程度上自主选择目标、自主发动攻击的能力，这种能力是传统武器所不具备的，从而，在国际人道法上形成了新的挑战。但是具体而言，由于承担的任务类型和部署的外部环境不同，上述各种智能武器系统违反国际人道法上的风险也各不相同。反火箭、火炮、迫击炮系统和车辆“主动防御”武器属于防御武器，而巡飞弹、“自主引导”型鱼雷和“哨兵”武器属于进攻武器；反火箭、火炮、迫击炮系统、车辆“主动防御”武器和“哨兵武器”安装于固定地点、车辆或者舰船之上，本身不具有机动能力，而巡飞弹和“自主引导”型鱼雷本身拥有机动能力；“哨兵武器”属于反人员武器，而其他四种武器都属于所谓的反物质武器。一般而言，具有机动能力的、进攻型的、反人员型的武器，违反国际人道法的风险会高于那些不具有机动能力的、防御性的、反物质型的武器。
总体而言，上述现有的各种人工智能武器在“自主性”方面仍然受到很大限制，它们在人道法上的风险是可控的。它们仍然是以人类程序员预先编制的程序为准则来采取行动的武器系统，这些准则决定了它们所选定目标的类型、行动的时间范围和地域范围。首先是任务受到限制：主要用于防御武器，比如导弹防御系统；其次是攻击目标的类型受到限制：主要用于打击车辆、雷达、防空武器和舰船，而不是人员；再次是部署武器的环境受到限制：主要部署在相对简单和可以预测的环境，比如海上和远离居民区的陆地，它们攻击的目标不容易与平民混淆。因此，它们在国际人道法上风险基本上是可以控制的，或者至少可以说，它们违反国际人道法的风险并不高于传统的各种武器或者武器系统。
在刚刚过去的十年里，机器学习技术在人工智能发展中得到越来越多的应用，尤其是深度学习技术广泛应用到传统的监督学习、无监督学习、强化学习等各种机器学习之中，人工智能技术发展迅猛。与此同时，人工智能技术向军事领域的扩散也非常迅速和广泛。虽然现在大多数机器人武器系统(例如武装无人机)在选择和攻击目标等关键功能上仍然由人类操作员来远程遥控，但是，总的趋势是这些系统的自主性日益提高。武器专家们预测，未来人工智能武器将沿着两个主要路径向更加自主的方向发展：一是赋予远程遥控的机器人武器系统在选择和攻击目标上更大的自主性；二是商用(非武器)自主机器人系统能够转变为武器系统。[注]UNDIR,The Weaponization of Increasingly Autonomous Technologies: Artificial Intelligence,Observation Report no.8 (2018),p.77,website: http://www.unidir.ch/files/publi ... lligence-en-700.pdf,last visited May 8,2018.从技术角度讲，这两条路径都没有太大难度。在选择和攻击目标上拥有充分的自主性的武器系统，甚至不需要依赖通信系统，从而能够把用于操作人员和通讯联络的空间用于提高武器系统的防护能力和攻击能力，而且具有更强的适应性，能够应用于所谓的“4D”任务(dull,dirty,dangerous,deep)，实现军事效能倍增。
武器能够拥有的自主搜寻、识别和攻击目标物的能力，这是传统国际人道法所不能预见的，因而，也不可能制定有关这个方面的规范或者标准。传统国际人道法对武器的限制主要体现在禁止使用过度残忍、给战斗员造成不必要痛苦的作战手段。人工智能武器是武器的一种，因此必须遵守上述有关所有武器的人道法规范。不仅如此，由于其“智能化”和“自主性”特征，人工智能武器不可避免地涉及到了有关约束交战者的人道法规范。人工智能武器带给国际人道法的直接挑战，就是武器这个原本的国际人道法的客体，似乎突然在某种程度上具备了“法律主体”的资格和能力，从而可能需要遵守那些约束交战者的人道法规范。这对于国际人道法来说，显然是一个崭新的问题。
四、人工智能武器能否遵守有关交战行为的国际人道法规范
在传统国际人道法中，交战者应当遵守国际人道法有关敌对行为的全部或者部分规则。一般而言，这些约束交战者的人道法规范与武器自身无关，而是有关交战者如何使用武器的规范。正如我们常说的那样，“不是枪在杀人，是人在杀人”(Guns Don’t Kill People,People Kill People)。但是，由于人工智能武器的出现，这种论断就没有那么可靠了，因为人工智能武器具有“智能化”和“自主性”的特征，能够像人类战斗员一样“自主地”选择和确定攻击目标，并作出实施攻击的决定，这样一来，人工智能武器在国际人道法中的地位就相当于“交战者+武器”。
有关要求交战者在武装冲突中作出判断和衡量的国际人道法规范，主要包括区分原则和比例原则。在可以预见的一个时期内，仍然不可能出现达到人类的智能水平的完全自主的武器系统，而且人工智能不可能具有人类的道德和伦理观念。我们能否通过编码和程序，确保人工智能武器在发动攻击时，实现人类交战者所需要作出判断和衡量，确保其遵守区分原则和比例原则，是国际人道法所关心的问题。
区分原则(principle of distinction)是一项有关敌对行为的国际人道法基本原则，它要求冲突各方必须区分战斗员和非战斗员、武装部队与平民、军事目标和非军事目标。例如，1977年《第一附加议定书》第48条规定了保护平民居民，防止敌对行为影响的基本规则：“为了保证对平民居民和民用物体的尊重和保护，冲突各方无论何时均应在平民居民和战斗员之间和在民用物体和军事目标之间加以区别，因此，冲突一方的军事行动仅应以军事目标为对象”；第51条规定“平民居民本身以及平民个人，不应成为攻击的对象”,“禁止不分皂白的攻击”，而不分皂白的攻击是指“(一)不以特定军事目标为对象的攻击；(二)使用不能以特定军事目标为对象的作战方法或手段；或(三)使用其效果不能按照本议定书的要求加以限制的作战方法或手段”；第52条规定“民用物体不应成为攻击或报复的对象”，“攻击应严格限于军事目标”。
区分原则对于国际人道法具有根本的重要性。国际法院在“威胁或使用核武器的合法性”案的咨询意见中认为，“构成国际人道法框架的文件中所包含的主要原则如下：第一项原则就是保护平民居民和民用物体，并且在战斗员和非战斗员之间作出区分；国家绝不能把平民作为攻击目标，……”。[注]Legality of the Threat or Use of Nuclear Weapons,Advisory Opinion,1.C.J.Reports 1996,p.257.作为一种具有自主攻击能力的新型武器，人工智能武器亦应遵守这项核心的国际人道法义务。因此，人工智能武器是否有能力遵守区分原则，亦即在发动攻击的时候能否区分军事目标和民事目标、战斗员和平民，以及有作战能力的战斗员和失去战斗能力的伤病员，是其给国际人道法带来的最重要挑战。
比例原则(principle of proportionality)(也称成比例原则)是国际人道法有关敌对行为的另外一项基本原则，它要求在对军事目标进行攻击时应最大限度地减少对平民和民用物体造成的附带损害，对平民和民用物体造成的附带损害不应超过在军事行动中所要达到的具体的、直接的军事利益。根据比例原则，如果攻击行动的预期目标和直接军事利益可能会造成对平民的过分伤害或者对民用物体的过分损害，那么攻击应当被禁止。禁止不成比例的攻击，源自1977年《第一附加议定书》第51条“对平民的报复”第5款第3项。根据该条款，“可能附带使平民生命受损失、平民受伤害、平民物体受损害、或三种情形均有而且与预期的具体和直接军事利益相比损害过分的攻击”，应被视为“不分青红皂白的攻击”，从而受到禁止。对于人类来说，在军事利益和附带的平民伤害作出选择和决定，已经是一项非常困难的事情，因为这并非仅仅涉及人员和财产损失的数量计算，往往还涉及到非常严肃的伦理问题，而人工智能武器的出现，使这问题变得更为复杂。
比例原则要求人工智能通过预先编制的程序来感知和衡量众多相关要素和变量，进而判断与预期中直接和具体的军事利益相比，攻击是否会导致平民的过度伤亡和民用物体的过度损失，并且在可能会违反比例原则的情况下，有能力取消攻击行动。从技术角度来讲，这项要求比遵守区分原则的难度更大。而且，即使在技术上能够把各种要素量化，并且最终人工智能作出了与人类同样的选择，它仍然会受到质疑。因为对生命的价值作出衡量，一般被认为是只有人类才能作出的判断，而没有灵魂和感情的人工智能不可能感受生命的价值和意义，它是否适合作出此类判断，是一个值得怀疑的问题。
人工智能武器遵守交战规则的能力取决于三个方面：一是人工智能武器自身的识别能力；二是人工智能武器所承担的任务类型；三是人类操作员对人工智能武器的监督水平。识别能力是人工智能武器能否遵守交战规则的基础。识别能力不仅涉及人工智能系统的输入端，而且涉及对输入的各种数据的处理能力，包括了大量的硬件和软件技术。人工智能输入数据的方式不仅包括手工输入数字和文字数据，而且还可以通过视觉或者听觉传感器，像人类那样“看到”或者“听到”图像或者声音，甚至还可以通过电磁波、红外线、紫外线、激光等光学技术和超声波、次声波等声学技术，收集人类“看不到”或者“听不到”的图像或者声音，从而在感知能力方面能够大大地超过人类。但是，困难的是对这些图像和声音数据进行处理的能力。
人工智能可以不费吹灰之力地计算出人类可能需要耗费一生来计算的天文数字，但是一些对于人类来说极为简单的任务(例如，区分一只海龟和一枝来复枪)，对于人工智能却可能非常困难。[注]腾讯网：“谷歌AI居然将海龟识别成来福枪 曾经还把黑人当成大猩猩”，网址：http://tech.qq.com/a/20171103/098873.htm,最后访问日期：2019年-05-18。 而且，人工智能很容易受到欺骗，例如，实验表明喷涂了黄黑相间条纹的装甲车极易被识别为一辆校车。对于当前的人工智能武器来说，它也许能够区分一架波音737民航客机和一枚洲际导弹，但是，尚且无法区别混在一起的战斗员和平民，更不用说区分有作战能力的战斗员和失去作战能力的伤病员。
在这种背景下，显然应当限制人工智能武器的任务类型，减少人工智能武器发生错误攻击的可能性。正如我们上文中提到那样，现有的人工智能武器主要是防御性的和反物质的，而且主要用于打击海洋、空中和非居民区的目标。更重要的是，必须由人类操作员对人工智能武器进行监督。在有关自主武器系统的国际会议上，代表们普遍同意不论是出于法律、伦理还是政策的原因，都应当由人类对人工智能武器的关键功能继续保持有意义的(meaningful)、适当的和有效的控制。[注]ICRC, International Humanitarian Law and the Challenges of Contemporary Armed Conflicts, 31IC/15/11,Geneva,October 2015,p.47,website: https://www.icrc.org/en/document ... ary-armed-conflicts,last visited May 1,2018.由人类对收集到的各种图文资料进行分析、判断和衡量，并且作出是否发动攻击的最后决定。
由人类对人工智能武器进行“有意义的”控制，不仅能够更好地保障其遵守国际人道法规范，而且还可以在某种程度上舒缓人们对人工智能武器的另一个担忧：它的出现是否会成为对违反国际人道法的行为进行问责的障碍？不论人工智能武器的智能化程度如何，它仍然只是一台机器，把国际罪行归责于一台机器是没有意义的；而人工智能武器自主性无疑将会成为人类操作员推脱罪责的便利借口。
五、人工智能武器可能成为追究违法责任的障碍
很多对人工智能武器的担忧是关于战争罪行的归责问题的。考察二战后的国际刑事司法实践就会发现，各种国际刑事法庭和法院均要求构成一项战争罪行，应当具备特定的主客观要件，这不仅是罪刑法定等刑法基本原则的要求，而且也是保护被告人的基本人权的需要。而被告人主观上的犯罪意图是必不可少的构成要件。以国际刑事法院为例，1998年《国际刑事法院罗马规约》第8条“战争罪”规定了战争罪的客观要件，[注]参见《国际刑事法院罗马规约》第8条。 同时，该规约第30条“心理要件”第1款规定“……只有当某人在故意和明知的情况下实施犯罪的物质要件，该人才对本法院管辖权内的犯罪负刑事责任，并受到处罚。”
在国际法上，追究战争罪犯的国际责任本来就是一个复杂的问题，现在这个问题因为人工智能武器的出现而变得更为困难。在发生人工智能武器严重违反国际人道法(例如，杀害已经投降的战俘，或者不分青红皂白地攻击平民)的事件时，除了会继续像传统武装冲突那样，涉及到战斗员(人类操作员)及其上级指挥官，还将会涉及到人工智能武器的设计者、生产商和销售商，当然，取得并部署人工智能武器的国家自身也将会承担责任。
我们先来看可能出现的国家责任问题。这个问题相对简单，因为国家的国际责任不包括刑事责任，国际法对国家责任构成要求不包括心理要素。根据2001年联合国国际法委员会二读通过的《国家责任条款草案》，一国国际不法行为的要素包括两个方面：一是由作为或不作为构成的行为依国际法归因于该国；二是该行为构成对该国国际义务的违反。[注]See The International Law Commission’s Draft Articles on Responsibility of States for International Wrongful Acts,Official Records of the General Assembly,Fifty-sixth Session,Supplement No.10 (A/56/10),art.2.这两个要素都是客观性的或者物质性的。有关国家在其部署或者控制下的人工智能武器发生违反国际人道法的情形时，应当承担相应的国际责任，对受害者予以赔偿(reparation)，包括经济补偿(compensation)。在这个意义上，国家责任法甚至比国际刑法更为有效，因为国际刑法几乎不能为受害者提供任何经济方面的救济。
把设计者、生产商和经销商纳入责任名单，在很大程度上是因为他们非常容易成为人工智能武器的实际操作者推脱责任的“背锅侠”。在发生严重违反交战规则的情况时，指责人工智能武器存在设计缺陷，或者因质量问题而发生故障是非常便利的。但是，一旦把设计者、生产商和供应商牵扯进来，将会产生几乎难以克服的实体或程序上的法律困难。例如，一个具体的设计人员(比如程序员)可能只负责研发某个很小部分的程序，而且他研发这个程序时很可能并不知道将会被应用于军事目的，因此几乎不可能证明他对将来发生的违法情形具有“故意和明知”的主观犯罪意图。生产商和供应商的角色更为全面和综合，它或许将会承担国内法上的产品责任或者公司刑事责任，但是，国际人道法或者国际刑法并未包括任何有关公司的国际责任问题的规范。而且，如果责任过于分散，那么将可能失去实际效果。英谚有云：“如果所有人都有责任，那么就没有人承担责任”(If everyone is responsible,no one is responsible)。因此，最可能承担责任的还应当是人工智能武器的操作人员及其上级指挥官。
这里强调指挥官的责任，是因为在人工智能武器作战的场合下，指挥链甚至比通常人类战士位于战场的情景更短。指挥官和操作人员之间有便利的通讯工具，甚至可以坐在一个房间内，共同作出一项决策。正常情况下，人类应当对其决策承担责任，但是在人工智能的场合，只要其存在某种程度的自主性，不论这种自主性是高是低，都可能会或多或少地影响行为结果的可预测性，从而给证明被告人的主观故意或者过失带来障碍。
正如我们上文中说过的那样，因为人工智能武器的自主性而对其予以惩罚是毫无意义的，因为它们只是机器。当前问题的关键是如何填补人工智能武器所带来的可归责性上的空隙。这种可归责性上的空隙在立法和实践中都可能存在。这是因为国际社会在起草当前所有重要的国际人道法条约的时候，不可能考虑到人工智能武器的情况，人类操作员很容易利用人工智能武器的自主性、设计缺陷、软硬件故障等理由作为借口，摆脱战争罪行的指控；而法官或者社会公众则很可能对人工智能武器的操作员予以更多的同情，因为与实际深入战场的传统的战斗员相比，这些坐在空调房里的操作员似乎“手上没有沾满鲜血”。
综上所述，人工智能武器的确给国际人道法的实施带来了新的困难。正如我们上文所说的那样，在当前的技术水平和法律状况下，继续由人类对人工智能武器进行“有意义的”(meaningful)控制，是解决有关问题的一个重要方式。但是，在当前人工智能技术飞速发展，人工智能武器的自主性必将继续提高的大背景下，如何实现“有意义的”人类控制，是一个各国在研发人工智能武器时应当优先考虑的问题。这个问题不可能有一个千篇一律的答案，而只能寄希望于各国在研发和部署人工智能武器时，严格依照国际人道法进行审查。
六、人工智能武器的研发应当受到国际人道法的限制
在刚刚过去的十年间，世界各国目睹了人工智能和武装无人机所取得的巨大进步，这些新技术已经在很大程度上改变了战争的形态；人们有理由相信如果不加限制，具有超级智能的杀戮机器迟早将会诞生。一方面，处于伦理上的考虑，人们认为授予机器在战斗中决定谁生谁死的权力是不可接受的；另一方面，出于技术安全的角度考虑，人们认为人工智能武器存在着发生故障、失灵的可能性，可能会导致不可预测的后果；一些人甚至担忧人工智能武器产生自我意识，危及人类的生存和延续。
反对和担忧的声音形成了一种压力和动力，推动了国际社会对人工智能武器的研究和讨论。尤其是一些非政府组织和学者个人，一直试图推动各国限制未来人工智能武器的发展，确保人类未来始终在在关键功能上保持对这种新武器的控制，尤其是禁止研发、取得、部署和使用完全自主的致命性武器系统，并且希望各国切实履行国际人道法中有关新武器的条款，建立国内法律审查机制，同时能够起草和制定有关国际条约，从国际法的层面上对人工智能武器的发展进行规范和限制。
(一)建立和完善新武器的国内法律审查机制
1977年《第一附加议定书》第36条要求每一缔约国在研究、发展、取得或采用的任何新的武器、作战手段和方法时，判定该新的武器、作战手段或方法的使用，是否在某些或所有情况下为国际法所禁止。根据红十字国际委员会《附加议定书评注》的意见，该第36条“隐含了为阐明合法性问题而确立内部程序的义务，而且其它缔约方可要求获得关于此方面的信息”。[注]Y.Sandoz,C.Swinarski,B.Zimmerman (eds),Commentary on the Additional Protocols of 8 June 1977 to Geneva Conventions of 12 August 1949,ICRC,Geneva,1987,para.1470 & 1482.1977年《第一附加议定书》第82条对第36条进行了补充，该条款要求无论何时均有法律顾问“对各公约和本议定书的适用以及就此问题发给武装部队的适当指示”，向军事指挥官提供意见。上述两个条款是各国建立法律审查机制的国际法依据，从而确保其武装部队能够以严格符合国际人道法的方式从事敌对行动。
国际社会很早就关注到了有关新武器的国内审查立法未能普及的现实情况，一直努力推动各国制定和实施相关法律制度。在2001年《常规武器公约》第二次审查会议上，缔约国敦促“尚未对武器进行审查的国家，按照《1949年日内瓦四公约第一附加议定书》第36条的规定实施审查，以判定某一新武器、作战手段和方法是否为国际人道法或其它可适用的国际法规则所禁止”。[注]Final Declaration of the Second Review Conference of the States Parties to the Convention on Certain Conventional Weapons,Geneva,11-21 December 2001,CCW/CONF.II/2,at p.11,website: http://disarmament.un.org:8080/ccw/ccwmeetings.html,last visited July 11,2018.2003年第28届国际红十字和红新月大会通过《人道行动日程》(Agenda for Humanitarian Action),其最终目标之一是“确保新武器在国际法上的合法性”，为此，“根据1977年《第一附加议定书》(第36条)，敦促缔约国建立审查程序，对新的武器、作战手段和方法的合法性作出判断”。[注]ICRC,Agenda for Humanitarian Action,28th International Conference of the Red Cross and Red Crescent,Geneva,2-6 December 2003,website: https://www.icrc.org/eng/assets/files/other/icrc_002_1103.pdf,last visited July 11,2018.
目前，英国和美国是已知仅有的两个制订了有关人工智能武器的国内政策的国家，其他国家要么尚未制定此类政策，要么就是尚未公开。[注]ICRC,Autonomous Weapon Systems: Thechnical,Military,Legal and Humanitarian Aspects,Geneva,Switzerland,26 to 28 March 2014,p.18,website: https://www.icrc.org/en/document ... ms-26-28-march-2014,last visited July 11,2018.英国根据1977年《第一议定书》第36条建立了由军队律师组成的合法性审查机制。英国认为，评估人工智能武器的自主性是否可以接受应当考虑多种因素：武器应用的任务类型(即防御型还是进攻型)；目标的类型(即物质还是人员)；武力的类型(即非动能型力量，例如电子“阻塞”，还是动能型力量)；使用武器的环境(即简单还是复杂的环境)；在特定背景下识别目标的难易程度；人类影响和监督武器系统的方式；武器在空间上的“自由”(即固定的还是可移动的，以及能适应有限的还是广泛的地理区域)；武器行动的时间期限(即只能在特定的时间点实施攻击，还是能够在较长的时间期限内实施攻击)；武器系统运作的可预测性、可靠性，以及是否可以信任。英国当前的政策是禁止“自主开火的武器”，并且强调“武器系统的操作”应始终处于人类控制之下。[注]UK Ministry of Defence (2013) Written Evidence from the Ministry of Defence submitted to the House of Commons Defence Committee inquiry ‘Remote Control: Remotely Piloted Air Systems - current and future UK use’,September 2013,p3.
美国有关人工智能武器的政策体现在2012年11月9日《国防部第3000.09号指令：武器系统的自主性》(Department of Defense Directive 3000.09: Autonomy in Weapon Systems,November 21,2012)之中。美国国防部声称，制定该指令的目的是希望能够有助于认识和识别自主性所产生的风险，并考虑消除风险的可能方法。为确保实现上述目的，该指令建立了高水准的、详细的程序，明确要求那些授权使用、指挥使用或者直接使用自主或半自主武器系统的人，在从事上述行为时，“必须……遵守战争法、可适用的条约、武器系统安全规则和可适用的交战规则”。[注]US Department of Defense,Autonomy in Weapon Systems,Directive 3000.09,November 21 2012,para 4(b),para 4(a),website: http://www.dtic.mil/whs/directives/corres/pdf/300009p.pdf,last visited July 12,2018.该指令的附件3《审查某些自主或半自主武器的指南》详细规定了在决定正式研发和部署自主武器系统之前，对其进行审查的负责部门和具体标准。[注]US Department of Defense,Autonomy in Weapon Systems,Directive 3000.09,November 21 2012,Enclosure 3: Guidelines for Review or Certain Autonomous or Semi-Autonomous Weapon Systems,para.1(a) & (b) ,website: http://www.dtic.mil/whs/directives/corres/pdf/300009p.pdf,last visited July 12,2018.
(二)在《常规武器公约》项下起草有关人工智能武器的新议定书
1980年《禁止或限制使用某些可被认为具有过分伤害力或滥杀滥伤作用的常规武器公约》(以下简称《常规武器公约》，Certain Conventional Weapons/CCW)的缔约国会议是当前国际社会讨论武器问题的最重要平台。《常规武器公约》在序言中重申了国际人道法中有关限制武器问题的基本原则：“基于国际法关于武装冲突各方选择作战方法和手段的权利并非毫无限制的原则，以及禁止在武装冲突中使用可能引起过分杀伤或不必要痛苦的武器、弹药、材料和作战方法的原则”。该 《公约》本身不包含关于使用特定常规武器的实体规范，而是通过制定一系列附加议定书禁止或者限制了无法检测碎片的武器、地雷、燃烧武器、激光致盲武器，形成了一个开放性的、极具特色的关于武器禁止和限制的国际人道法条约体系。
由于人工智能武器日益引起国际社会的关注，2013年《常规武器公约》缔约国会议决定：“由主席在 2014 年 5月 13 日至 16 日召开一次为期四天的非正式专家会议，结合《公约》的目标和宗旨，讨论与致命性自主武器系统领域新技术有关的问题”。[注]Meeting of the High Contracting Parties to CCW,Final Report,CCW/MSP/2013/10,16 Dec.2013,para.32.自2014年起，《常规武器公约》缔约国陆续召开了4届“讨论与致命性自主武器系统领域新技术有关的问题”的非正式专家会议；2016年缔约国全体会议上决定“设立一个关于《公约》目标和宗旨范围内致命性自主武器系统领域新技术的不限成员名额政府专家组(Group of Governmental Experts,GGE)”，计划每年召开两次政府专家组会议，并于2017年11月召开了第一次会议。在这次会议上，该专家组确认“《常规武器公约》为处理致命性自主武器系统领域内新兴技术所产生的问题，提供了适当的框架”，并强调“国际人道法依然完全适用于所有武器系统，包括潜在的致命性自主武器系统的研发和使用，……一国武装部队在武装冲突中使用的任何武器系统，应当根据国际法(尤其是国际人道法)承担责任”，并建议“结合《公约》的目的和宗旨，……处理致命性自主性武器领域新技术对人道主义和国际安全的挑战”。[注]CCW,Report of the 2017 Group of Governmental Experts on Lethal Autonomous Weapons Systems (LAWS),CCW/GGE.1/2017/CRP.1,20 Nov.2017,p.4,website: https://www.unog.ch/80256EDD006B8954/(httpAssets)/B5B99A4D2F8BADF4C12581DF0048E7D0/MYMfile/2017_CCW_GGE.1_2017_CRP.1_Advanced_+corrected.pdf,last visited July 12,2018.在2018年4月召开的政府专家组成员会议上，与会代表讨论了四个方面的问题：“(1)描述所讨论的致命性自主武器系统的特征，进而促进形成一个对与《常规武器公约》目的和宗旨相关的概念和特征的共识；(2)进一步讨论使用致命武力时人的因素；致命性自主武器系统领域内新技术的研发、部署和使用中人机互动的各种问题；(3)在专家组工作的背景下，审查相关技术的潜在军事应用；(4)秉持实现《公约》目的和宗旨的前提下，讨论如何应对致命性武器系统领域内的新技术，在人道或者国际安全方面所引起的各种挑战。[注]CCW,Provisional agenda,Submitted by the Chairperson,CCW/GGE.1/2018/1,16 March 2018,website: https://www.unog.ch/80256EDD006B8954/(httpAssets)/6DC845B8A70C2251C1258255004D7009/MYMfile/CCW_GGE.1_2018_1.pdf.在2018年4月的会议中，大多数与会国建议《常规武器公约》缔约国同意在当年11月开始就达成一项有关完全自主武器系统(fully autonomous weapon systems)的、具有法律拘束力的文书(即议定书或者条约)展开谈判。
在《常规武器公约》平台上召开的每次非正式专家会议不仅有80个左右的缔约国代表参加，而且还邀请了30多个非政府国际组织和研究机构的代表，以及在人工智能领域居于前沿位置的科学家作为专家代表发言。《常规武器公约》缔约国召开的上述会议，是国际社会对人工智能武器讨论最为深入、成效最为突出、影响最为广泛的场合，也是最有可能达成有关人工智能武器的国际法律制度的场合。这一方面是由于国际社会对这个议题的广泛关注，推动了《常规武器公约》缔约国把它提上日程；另一方面，也是由于《常规武器公约》灵活的议定书机制，能够以缔结新的议定书的形式，围绕新的议题发展出新的条约制度。正如上文中提到的那样，目前该《公约》缔约国召开的政府专家组会议已经同意把缔结一个有关致命性自主武器系统的新议定书作为下一步讨论的重点议题。长期来看，实现这个目标的可能性是非常大的。
七、结论
人工智能技术在军事领域的应用，是一个不可阻挡的趋势。今天已经有一些武器或者武器系统在选择和攻击目标等关键功能上具备了一定程度的自主性，但是，总的来说它们仍然只被用于有限的任务类型和环境。随着人工智能技术的飞速发展，未来人工智能武器必然在更多功能上拥有更高的自主性，并且将会部署在更为复杂的环境，以及承担更为多样化的任务。人们对人工智能武器的担忧有多少将会被证明是杞人忧天，而又有多少是真知灼见，我们现在无法知道。但是，从国际人道法的角度，审视人工智能武器可能带来的新的挑战，无疑是十分必要的，而且，实际上也正是红十字国际委员会最早提醒各国慎重对待研发和部署人工智能武器可能带来的各种根本性的法律、伦理和社会问题。[注]ICRC (2011) International Humanitarian Law and the challenges of contemporary armed conflicts.Report for the 31st International Conference of the Red Cross and Red Crescent,Geneva,28 November to 1 December 2011.从国际人道法的角度来看，主要是两个方面的挑战：一是武器系统选择和攻击目标能否尊重国际人道法规则？二是如果武器系统的使用明显违反国际人道法，能否归责于个人或国家，并追究他们的责任？
人工智能武器对国际人道法的第一个挑战触及到了国际人道法中的交战规则。国际人道法中的交战规则(主要指区分原则和比例原则)是用来拘束人类行为的，因此任何人类战斗员均有遵守的义务；人工智能武器仍然只是机器，机器虽然无法适用法律，但是也必须能够按照人类的法律判断来进行操作。未来必须保持人工智能武器的可预测性，如果无法合理预测某种武器系统将会遵守国际人道法，那这种武器系统就可能是“非法的”。人工智能武器对国际人道法的另一个重要挑战是它在选择和攻击目标等关键功能上的自主性，可能会使得证明实际操作人员或者指挥官的主观故意变得非常困难；而且，人工智能武器的设计缺陷、软件或者硬件的故障，同样可以成为责任人推脱罪责的借口。
当前，红十字国际委员会和《常规武器公约》缔约国会议组织召开的一系列国际会议，已经对人工智能武器问题进行了较为深入和全面的讨论，也已经取得了一些基本的共识：必须对武器和武力使用进行“有意义的”、“恰当的”和“有效的”人类控制，但是从法律、伦理和政治角度来看，所需的控制类型和程度尚不明确。对此，红十字国际委员会呼吁各缔约国为武器系统的自主性设定限制，以确保其使用符合国际人道法的规定，并在人道原则和公众良心要求所能接受的范围内进行。[注]ICRC (2016) Views of the ICRC on autonomous weapon systems,CCW Meeting of Experts on Lethal Autonomous Weapons Systems (LAWS),11-15 April 2016,Geneva.Background paper,11 April 2016,website: https://www.icrc.org/en/download ... icrc-april-2016.pdf,last visited October 22,2018.在当前的情况下，各国应当响应红十字国际委员会的建议，履行条约义务，建立有关新武器的国内法律审查机制；同时推动起草和制定有关人工智能武器的国际条约，从国内法和国际法两个层面，共同确保任何此类武器都必须能够遵守国际人道法中关于敌对行动的规则。