法治与政府决策自动化

奥鹏网院作业

法治与政府决策自动化①
□［澳］莫妮卡·佐尼鲁特1，莉亚·本内特·摩西1，乔治·威廉姆斯1 著，廖建凯2译

（1.新南威尔士大学 法学院，澳大利亚 悉尼；2.西南政法大学 人工智能法学院，重庆401120）

[摘 要] 透明和责任、可预测性和一致性以及法律面前人人平等，是各国普遍认可的法治价值观。预编程规则系统和从历史数据中衍生出规则系统，是两类典型的自动化系统。澳大利亚、美国、瑞典和中国的公共机构已经在社会福利分配、刑事审判和社会信用评级等领域，应用自动化系统进行决策。政府决策自动化，在增强法治价值的同时也给法治价值带来新的挑战，反映出法治与技术快速变革之间的紧张关系。缓和法治与政府决策自动化之间的紧张关系，需要精心设计、有效实施和持续评估自动化决策系统，需要将自动化决策系统的形式与应用场景相匹配并限制自动化决策在某些场景中的应用。然而，将法治价值观转化为自动化系统的技术规范并加以实施，是一项艰巨的技术和法律挑战。

[关键词] 法治；自动化决策；法治价值观；专家系统；机器学习

自动化有望改善各类流程。采用受控程序和系统来代替人类劳动，可以提高效率、确定性和一致性。因此，自动化在制药、零售、银行和交通等领域，受到私营部门的欢迎也就不足为奇。自动化也能给政府带来益处，它有潜力使政府决策更准确、更高效和更公平。一些国家在福利分配和刑事审判等领域积极推进自动化，辅助或替代政府人工决策的自动化系统正越来越多地被使用。然而自动化的快速应用也引发了争议。一方面机器学习等技术的变革潜力，因能提高经济效益而受到称颂；另一方面大众普遍认为，其给隐私权和平等权等权利带来风险。自动化如何与基本的法律概念和规范相互作用的问题，引起了法学理论、技术和哲学交叉领域理论家的广泛关注。

本文采用宽泛的视角评估政府决策自动化对法治的益处与挑战。其目的不是进行彻底的分析，而是批判性研究法治原则如何被两种使用越来越多的自动化影响：人工编写的预编程规则（例如专家系统）和从历史数据中衍生出规则并进行推理或预测的工具（通常应用机器学习）。我们研究的焦点是自动化对政治和国家制度中最广泛认可的三个核心法治观念的影响：透明和责任、可预测性和一致性、法律面前人人平等。

一、法治
法治是一项正在进行的政治工程，其核心在于一种广泛坚持的信念，即社会应由法律治理。欧盟、俄罗斯、中国、津巴布韦和伊朗等形形色色的社会和看似不可调和的政治体制都认可法治，是法治这一概念的显著特征。如此多的国家和政治制度都接受法治，是因为这个概念没有一个公认的定义。它无处不在，却又难以捉摸。作为一个“本质上有争议的概念”[1](p52)，不同的社会可以认同法治，但对法治的内涵却存在分歧。一些学者将对法治的理解分为形式观念和实质观念，前者聚焦于合法性的来源和形式，而后者还包括关于法律内容的规定。法治既包含程序因素也包含实体因素的观点被广为接受[2](p467)。

我们的目标不是给出另一种关于法治的解释。相反，我们仅仅关注普遍接受的法治内涵，即法律必须是可预测的、稳定的、可获得的和法律面前人人平等[3](p1)。在应用这些原则时，我们的关注点主要是法治的形式和程序方面，而非其包含言论自由和隐私权等广泛人权的能力。因此，我们的分析仅限于以下核心部分：透明和责任、可预测性和一致性、法律面前人人平等。

（一）透明和责任
法治最广为人知的方面是，政府必须确保制定的规则和决定透明并对其负责。透明要求公开国家的运行情况，个人可以获取法律规则和行政决定[4]。这很重要，因为这样个人就可以知晓影响他们的决定的原因，并了解未来的决策将如何影响他们。在民主制度中，对法律运作原则（虽然不一定是影响他人的决定的具体细节）有一定的了解，对人们理解和评价政府的表现也是有用的。责任进一步要求政府遵从法律并对其行为负责（例如，行政行为违反法律时可以被推翻）。透明和责任是相关的，因为决策过程或制度的透明是使该过程或制度可责的必要（但非充分）条件[5](p534–537)。

（二）可预测性和一致性
法治另一个被广泛接受的方面是，法律应该是可预测的和一致的[6](p 270–271)。许多人认为，这对个人自由不可或缺，是“人们所说的法治”的基本组成部分。法律的可预测性和一致性通常被认为具有双重作用。它提高了政府决策的确定性和效率，使个人可以有效地管理他们的私人生活和事务[7]。它还具有一种道义上的意义，即应平等对待类似案件。在普通法体系中，法律的可预见性和一致性可通过司法遵循先例得到进一步提高。

（三）法律面前人人平等
法律面前人人平等要求所有人都必须受到法律平等的制约和对待，而不应不适当地顾及他们的地位或其他情况。从广义上讲，法律面前人人平等可以保证任何个人或群体都不会因其种族或民族、性别、来源国、宗教信仰、性取向或其他无关的个人特征而享有特权或受到歧视[8]。本文使用的是法律面前人人平等的狭义概念，即人们不论其地位如何，都应享有平等的法律权利，并且在享有这些权利时，要“类似案件类似处理”[9](p237)。法律面前人人平等的狭义定义，在一系列法律和政治制度中有着最为广泛的适用。

二、决策自动化
政府决策中的自动化不是一种新现象，也并非与单一的技术相关。自动化依赖于一种技术工具或系统，其参与决策的程度有所不同，从决策辅助（计算机辅助人类作决策）到人工参与（人类部分参与决策），再到人类完全在决策过程中消失。

为了阐明这一点，研究从自动化辅助决策到完全由机器决策的具体事例很有用。从决策辅助工具开始，机场海关官员使用的脸部识别工具可能会将申请人识别为安全监视名单上的人，并从数据库中调出此人的记录。然后，海关官员可能会审查数据库中的信息，询问申请人，并决定是否允许此人入境。在这个范围内，还有一些系统可以自动确定与决策相关的一些事实，如个人是否符合年龄标准，而将决策的剩余部分留给政府官员。此外，自动化系统可以给出与评估相关的信息，而非纯粹基于事实标准，例如评估个人是否危险或遵守还款计划。自动化可能还会建议决策者以一种特定的方式来裁决案件，在这种情况下，决策者可能会将这样的建议或多或少地当作是结果的决定因素。最后，系统可以识别相关信息，然后根据这些信息做出决策，而不需要人工介入。例如，在确定申请人是否符合领取福利待遇的标准时，可能会出现这种情况。

各种各样的技术正在或者可能用于政府决策自动化。在分析自动化对法治的影响时，我们将其分为两种典型类型，尽管这两种类型的自动化系统也可能在决策过程中相互结合。第一种类型的自动化，遵循一系列由人类预先编写的程序规则。第二种类型的自动化，应用由系统从历史数据推断出的规则。在说明它们如何结合之前，有必要通过事例分别研究它们——专家系统和有监督的机器学习。

（一）专家系统
专家系统作为一个通用术语，用来描述机器完成通常需要人类智能才能完成的任务的情形。专家系统是预编程逻辑的一个例子，规则被编码到系统中，并应用到新的例子以得出结论。一般来说，这些规则是由那些对决策所涉领域有充分了解的人编写或与他们协商设计的[10](p13-14)。例如，在政府决策方面，是那些了解有关立法规定和决策标准的人。专家系统可用作决策过程的自动化组件，它依赖于清晰、固定和有限的标准。

由于专家系统以明确的规则为基础，因此可以给出决策的理由，以及作出决策所依据的重要事实和规则。在一个确定是否满足标准A、B 和C的极其简单的专家系统事例中，系统的输出可能是“申请人X 因为不满足标准C，因此没有资格享有这种福利”。可以给出作出决定的原因，是因为系统使用与规则本身相同的逻辑，即根据标准A、B和C 对每个申请人进行评估。该系统还可以通过将编码规则写成一个或多个声明的方式提高对公众的透明度，例如“申请人只有在满足A、B 和C 的情况下才有资格获得该福利”[11](p114-115)。

专家系统已被各国政府用来辅助和取代人类决策者。自20世纪80年代以来，这类系统被设计用于各种政府场景，如儿童保护和社会福利计算。下面论及的澳大利亚自动追债系统和瑞典自动化学生福利系统，是预编程系统更现代的事例。无论它们是否被编码为传统的“专家系统”（通常将推理引擎与规则数据库分开），都再现了类似的方法。特别是，这两个系统在人类精心设计的逻辑基础上运行，相同的输入必然产生相同的输出。

（二）有监督的机器学习
第二类自动化决策系统完全不同，它们不是基于明确的人工编写的规则，而是基于从历史数据中学习到的规则。机器学习能自动构建驱动系统的规则。机器学习描述了各种数据驱动的技术，这些技术建立了一个过程，通过这个过程，系统将“学习”历史数据的模式和相关性，从而生成预测或提出见解。在算法尝试针对指定目标提高性能时，“学习”迭代进行。

监督机器学习需要已经分类或标记的数据，例如，在某种情况下，申请人是否有资格获得福利。由于数据是预先标记的，它包含了人类的偏见和假设。例如，犯罪数据可能反映出治安和司法对少数群体的偏见，而有关福利资格的数据可能反映出官方机构削减开支的动机。应用监督机器学习的人员，还必须确定他们希望如何评估系统的性能。该过程通常首先将数据划分为一个训练集和一个测试集，后者用于根据相关标准评估算法的性能。学到的规则被应用到测试数据中评估算法，此后再对算法进行改进。

有监督的机器学习是诸多方法中的一个事例，它旨在从数据中得出推论，以达到推理或预测的目的。其他技术，包括那些与传统统计相关的技术，也可以用来达到类似的目的。例如，可以使用回归分析来估计变量之间的关系，并将其用于编写预测特定变量的规则（例如决策的结果）。然而，与标准的统计方法不同，机器学习通常是迭代的（能够不断地“学习”新信息），并且能够识别数据中更复杂的模式。

这两种类型的自动化之间的界线并不总是很清晰。人类可以编写明确的规则，这些规则不是基于法定标准或法律教条，而是基于从历史数据（通过统计或机器学习）中总结出的经验性发现。在这种情况下，规则从特定时间点的数据推断出来，然后被预先编程到系统中。自动遵循同一规则的系统，最初通过机器学习过程学习，它同时具有专家系统和机器学习的一些特征。像专家系统一样，它不能在程序参数之外运行。如果规则变得过时（例如，由于法定标准或决策政策的改变），那么它将不能再有效地预测人类作出的决策。该系统还将与机器学习一样面对潜在的复杂性。特别是，根据所应用的机器学习过程，衍生的（和使用的）规则可能很难被人类理解、解释或证明。这个事例表明，两种类型的自动化并不是绝对分开的类别。然而，它们是有用的“经典类型”，有助于区分它们给法治带来的不同类型的挑战。在需要的地方，我们会讨论将这两种类型的自动化结合起来，以解决特定法治挑战的可能性。

三、自动化决策事例分析
在下面的几个事例中，政府依靠自动化做出影响个人的决定。这些事例的研究，体现出对国家、技术方法和不同实施阶段的多样化选择。

（一）澳大利亚的自动化追债
“Robo-debt”是媒体对一个有争议项目取的绰号，该项目由澳大利亚政府于2015年宣布，旨在计算和收回因超额支付福利而形成的债务①该系统被作为澳大利亚2015—2016年度预算措施的一部分。。它取代了通过风险管理选择个人进行手工审查的系统，该系统从个人及其银行记录和雇主记录中收集收入和其他信息。在Robo-debt系统下，澳大利亚税务局（ATO）掌握的年收入数据与向福利署（Centrelink）报告的收入数据自动进行交叉匹配。由于最初根据Centrelink 的数据计算福利待遇，向ATO 申报更高收入的个人意味着被多支付福利，因而欠政府一笔债。该系统融合了数据匹配（可能使用机器学习）②这种数据比对有1990年的《数据比对项目（补助与税收）法》的授权。，应用人工编写公式的自动评估以及对福利接受者自动发送信件。

了解这个系统如何工作，重要的是要知道报给ATO 的是年度收入数据而报给Centrelink 的是双周收入数据。第一步是比较这两个年化后的收入数据。如果报给ATO 的年收入大于报给Cen⁃trelink 的年化收入，个人就会收到一封信，让他有机会通过一个在线门户确认自己的年收入。登录在线门户的人有机会说明他们的双周收入情况（要有证据），而不登录在线门户的人则被推定，他们的双周收入是按报给ATO的年度收入除以一年中的双周数计算的。但是，发给个人的追债信没有解释，记录一年中收入的变化对于准确计算福利待遇非常重要[12](p1，4，9)。双周的收入（网上申报或按上面方法推算）被用来计算应享有的福利待遇，在相关情况下，个人会自动收到债务通知。有些信件发送给了实际上不欠政府钱的个人，因为他们的收入变化没有记录在案，而这对他们的福利待遇有影响。虽然随着时间的推移，计算债务的系统已经改进，但是我们此处的分析针对的是它最初的状态。在使用这个系统的过程中产生了几个问题，这些问题包括：信件措辞不当，公式存在一定比例的不准确，向不欠钱的人发出债务通知[13]，转移举证责任[14](p9-11)，让个人任由收债人摆布③需要注意的是，系统在这个方面的问题已经改进了。。

（二）美国量刑决策中的数据驱动风险评估
在美国的一些司法管辖区，法官应用一个名为COMPAS 的自动化决策工具。它根据历史数据推断哪些被定罪的被告具有较高的再犯罪风险，特别是暴力风险。美国首席大法官会议支持法官使用这类工具，包括在量刑过程中[15]。威斯康辛州最高法院在威斯康辛州诉卢米斯（Loomis）案中也使用了这种工具。法院认为，在量刑（影响非假释期的判决）中部分依赖COMPAS 的评分，并不违反美国宪法规定的被告享有的正当程序权利[16]。

如COMPAS 这样的风险评估工具，依据不同的特征来区分不同的个体。考虑到软件的商业性质，这些特征的全部范围尚不清楚。人们担心种族会影响评估。例如，ProPublica 的一项调查发现，与白人相比，非裔美国人更有可能被COMPAS误判[17]。这并不一定是因为种族被作为一个变量来模拟罪犯群体的危险性；当与种族相关的变量与风险类别相关时，就会对评估产生不同的影响。因此，当训练系统所用的数据本身充满了人类偏见时，就会产生不同的结果。

虽然种族歧视在卢米斯案中不是问题，但有人提出了性别歧视问题。有关性别的数据被纳入算法训练的集合中，原因是男性和女性的再犯罪率，特别是暴力再犯罪率在统计上存在差异。威斯康辛州最高法院认为，这种区别对待并没有侵犯被告不因其性别而被判刑的正当程序权利。其原因是男性和女性的再犯罪率不同，忽视性别会“提供不太准确的结果”[16](p77，86)。这涉及一个基本问题，即从历史数据中得出规则进行推理时所使用的逻辑——如果目标是将预测的准确性最大化，那么从法治的角度来看，根据个人的固有特征对其进行分类是否重要?

（三）瑞典的自动化学生福利（ASW）
瑞典国家学生金融委员会（CSN）被瑞典政府挑选为公共机构自动化决策的先行者[18]。 CSN 对瑞典学生生活费用的财政援助进行管理，生活费用包括助学金和各种贷款[19]。CSN 的核心目标群体通常对信息技术有较高的认识和接触。基于规则的CSN 自动决策系统由国家立法授权，其工作人员的职责是根据道德准则，为学生提供学生福利方面的电子服务[20]。这确保了决策基于明确的、公开的规则，并由人确认和承担每个决定的责任。

自动化决策系统可用于学生贷款和助学金的申请人（由所谓的“外”单元管理），及向CSN偿还贷款的申请人（由“内”单元管理）[20]。CSN提供的许多电子服务都部分或完全自动化。例如，允许人们申请减少还款的电子服务使用辅助决策（部分自动化），而所有基于过去两年收入的还款决策则完全自动化。该自动决策系统将来自CSN的数据与公众可获得的信息（包括税收信息，在瑞典是公开的）结合在一起[21]。每当有人申请减少还款时，工作人员便会将相关信息手动输入系统，然后让自动系统接管，即系统部分自动化。虽然作出决定的是这个系统，但根据法律规定，管理人员对系统作出的决定负责，并在签名后将决定告知学生。

（四）中国的社会信用体系
第四个自动化事例研究的是由中国中央政府建设的社会信用体系（SCS），该体系选择了43个城市（城区）进行示范。根据《社会信用体系建设规划纲要（2014—2020 年）》，SCS“以树立诚信文化理念、弘扬诚信传统美德为内在要求，以守信激励和失信约束为奖惩机制，目的是提高全社会的诚信意识和信用水平”[22]。根据上述目的，SCS 依据法律和道德对个人和公司的经济、社会和政治行为进行奖惩[23]。

从技术角度来看，SCS 类似于一个简单的、基于规则的预先编程系统，但是43个示范城市对SCS的实施各不相同。例如，在荣成市模式下[23]，每个人从连接四个政府部门的信用管理系统获得1000分的基础分。随后，政府官员会根据个人的具体行为，在系统中增加或扣除相应的分数。总共有150种正面行为可加分，570 种负面行为会扣分。SCS将产生广泛的经济和社会影响。例如，那些社会信用评分较低的人可能没有资格获得贷款和某些工作，或者可能被剥夺乘坐飞机或高铁的机会。与之相反，那些得分高的人享受的福利包括更便宜的公共交通、免费的健身设施以及优先就医等。

中国的SCS仍处于建设的初期阶段，中国政府一直在与拥有先进数据分析能力的私营企业建立合作关系。例如，中央政府一直在与科技巨头阿里巴巴（Alibaba）合作建立芝麻信用系统，其中包括自动评估借款人社交网络联系人的信用评分系统[24]。这意味着那些有低分朋友或与其关联的人的分数，会因此在自动评估中受到负面影响[25]。芝麻信用将来自阿里巴巴数据库的信息与其他个人信息相结合，如个人在线浏览和交易历史、税务信息和交通违法信息等，从而自动确定个人的信用度。

四、政府决策自动化对法治的益处和挑战
（一）透明和责任
自动化有利于提高政府决策的透明性和可责性。人类可能会在决策后给出决策的理由，但这些理由并不能准确地反映作出决策的原因[26](p231)，而基于规则的系统可以精确地解释设置变量和得出结论的原因。它可以告知受决策影响的个人，他们没有资格领取津贴的原因是他们不符合预先编入系统的立法或运行规则所要求的标准。这里需要注意的是，这种反馈并非基于规则的专家系统必须提供。设计者决定系统输出什么，以及它是否包括结论或决定的理由。在Robo-debt 事例中，就没有向个人提供关于债务如何计算的一般信息，也没有向个人提供关于其自身债务是如何具体计算的明确信息。瑞典的ASW 系统正好相反，它的决策是基于明确公开的规则，并由人确认和承担每个决定的责任。

搞懂伯勒尔（Burrell）的三种“不透明形式”，有助于理解透明面临的障碍[27](p1)。第一种形式是故意保密，当技术被视为商业或国家机密，或当自动化决策过程中使用的数据包含由于隐私或数据保护法律而不能公开的个人信息时，就会出现这种情况。这种形式的不透明可以应用于基于规则逻辑的系统，以及使用机器学习等技术从数据衍生出规则的系统。在中国的SCS中，只有有限的信息是公开的。例如，在芝麻信用体系中，中央政府和私营部门合作的细节并不清楚。尽管人们知道该系统将使用机器学习和行为分析来计算信用分数[25]，但个人不知道他的社交网络联系人的什么信息被使用，以及对他们的信用分数有什么确切的影响[26]。

伯勒尔所指的第二种不透明形式是技术文盲，它同样与两种类型的自动化相关[28](p4)。在这里，提高透明度的障碍是，即使提供了有关系统的信息，大多数人也无法从中获取有用知识。因此，一个系统对技术专家来说可能是透明的，而对大多数被治理的人，包括那些受特定决策影响的人来说则是不透明的。当然，那些没有专业知识的人可以咨询那些有专业知识的人，就像那些受法律影响的人可能需要咨询律师以了解他们的义务一样。但是，在某些情况下，特别在决定的后果十分严重的情况下，在理解和质疑一项决定方面缺乏专家的建议，实践中将大大降低该决定的透明性和可责性。

伯勒尔所描述的第三种不透明形式与机器学习高度相关。其根源在于，即使具备相关的专业知识，也很难理解处理大量数据的复杂学习技术[28](p5，10)。例如，脸部被自动系统识别的过程可能涉及五官的位置关系、角度、颜色、形状等特征的复杂组合，通过多层神经网络进行组合，每一层反映多个变量的不同组合。第二种形式的不透明涉及专业知识的局限性，而第三种形式的不透明认识到人类在真正理解或解释复杂系统运行方面的局限性。由于人类的推理方式与机器不同，即使经过良好的训练，人类也无法总能解释数据和算法之间的相互作用。这表明，随着机器学习系统变得更加复杂，法治所需的透明度可能会日益降低。

对于这一挑战，有一些可能的和部分的解决方案。一些研究人员正在研究“可解释的人工智能”，也被称为XAI，它可以用人类能够理解的术语来解释机器学习推理①例如，美国国防高级研究计划局（DARPA)就有一个XAI项目，该项目旨在开发“能够解释它们的原理、描述它们的优缺点，并传达对它们未来行为方式的理解”的机器学习系统。。它也可以公开机器学习系统的关键信息，如用于训练系统的数据集和所使用的技术。机器学习系统在运行方面也可以变得透明。评估和测试可用于确保系统满足特定的要求，如预测的准确性和平等对待不同的群体。这种有限的透明至少可以确保自动化系统的输出在特定方面是可解释的，例如遵守平等标准。

然而，一些机器学习技术无法变得透明，无论是在一般情况下，还是对特定的人。总的来说，伯勒尔指出的透明三挑战，意味着机器学习运行全过程的公开透明几乎不可能，包括理解决策的理由，训练所用数据集的局限（包括原始数据的系统性偏见或“清洗后”的数据），获取机器学习过程的源代码。在某些情况下，通过评估和测试，使关于算法的特定信息（例如，它对不同群体的平等对待）变得透明就足够了。但是，在某些情况下，从法治的角度来看，有限的透明度可能还不够。在量刑中使用COMPAS 系统最终会影响个人自由，在这类情境中需要更高的透明度以符合法治价值观。

另一种解决方案是，决策系统只需要作为一个整体是透明和可解释的，并不一定要求该系统的自动化组件的整个运行过程公开可见。例如，在瑞典ASW事例和Robo-debt事例中，人仍然对决策负责，即使决策逻辑首先通过自动化系统运行。最终，这一策略的成功取决于它的实施。如果可以要求人提供作出决策的独立原因，那么决策系统作为一个整体就会像没有辅助决策软件一样透明和可解释，所以自动化系统本质上只是打草稿。然而，如果人依赖系统的输出作为决策的全部或部分原因，即使其对决策负责，决策仍然存在瑕疵。这又回到决策过程的自动化程度以及输出对最终决策的影响问题。通过边缘化自动化组件（以效率和其他益处为代价）和确保按传统方式由人来担责，或者通过使自动化组件透明和可解释，可以使作为整体的决策系统变得透明和可解释。

由上可见，自动化系统内在的透明度是人类选择系统设计的问题。系统设计人员可以选择决策过程要输出哪些信息，官方机构决定了自动化系统的决策范围。虽然有些方法更难实现透明，但是设计人员可以选择究竟是否在特定的系统中使用这些方法。有一些限制——正如伯勒尔所指出的，机器学习工具通常不透明，这可能是由于（政府或私人承包商的）政策有意为之、社区缺乏专业知识，或者选择了复杂的方法。这意味着可能需要在透明度与软件或工具的选择之间做出妥协。最好的预测者可能不是最透明的，或者可能很难存在于一个可解释的系统中。

因此，在决策完全或部分自动化的情况下，系统输出的透明性和可责性取决于为决策系统本身的透明性和可责性负责的系统设计者。事实上，所有法治价值观都有相似之处，它们不太可能偶然地出现在决策和决策辅助系统中。系统设计者应当以符合法治的方式（包括这里所分析的标准）来设计这些系统，并能够说明这是如何做到的。

许多参与设计系统和设置相关参数的人是数据科学家、计算机科学家和工程师。在专业方面，已经采取了制定标准、框架和指南的行动，以确保决策和决策辅助系统合乎道德①例如，人工智能、伦理与社会（AIES）会议，电气和电子工程师协会（IEEE）的全球自主和智能系统伦理倡议，国际标准化组织的JTC1/SC42标准化项目，以及澳大利亚的人工智能路线图与伦理框架。。 这为法治提供了另一种可能的进路，即将法治写入政府所应用的决策和决策辅助系统的技术规范中。这样，设计者就有责任满足这些标准，无论是合同上的、专业上的，还是规则上的。当然，将一个本质上有争议的概念转换成技术规范（在一个或多个版本中）并不是一件容易的事情，我们在此不做探讨。

（二）可预测性和一致性
自动化还可以提高政府决策的可预测性和一致性。与人类不同的是，计算机系统不能肆无忌惮地无视其程序的规则。计算机系统可以被编程为概率行为，即通过类似投掷虚拟硬币的方式来决定是否做出对申请人有利的决定，但在我们讨论的事例中都没有出现这种随机的行为。相反，随机行为通常用于这样的情境，即社会共识认可随机选择是唯一公平的分配方式（例如，为某个活动发放有限的门票或确定彩票中奖者）。

因此，我们所讨论的事例的自动化系统普遍提高了决策的可预测性和一致性，即使它们在其他方面存在问题。中国的SCS是一种社会控制的工具，因为人们可以预测从事某些特定行为的后果，而这些行为政府不鼓励。澳大利亚的Robo-debt和瑞典的ASW对每个人都进行了同样的计算。

然而，自动化也对法治原则的可预测性和一致性提出了许多挑战。当自动决策过程中应用的规则不符合成文法或普通法要求时，就会出现第一个挑战。这种情况下的不一致不在于规则在不同情况下的应用，而在于程序化的规则与适用于每种情况的规则之间的不一致。Robo-debt就是一个这样的例子。这种方法并没有给很多人带来法律上正确的结果①对于错误率以及何为错误，人们存在一些争议。大约20%收到债务通知的人，通过提供额外的资料，证明了其没有因超额享受福利而对政府欠债。。从政府对其立场的辩护中可以看出，当人们有机会纠正出现的问题时，这不一定是一个问题：“初始通知要求福利接受者提供信息，以解释ATO和Centrelink有关收入记录的差异。结果是80%的人对政府负债。剩下的20%的人通过解释差异，根据更新的信息再次评估后不对政府负债。这就是这个系统的运作方式，它符合法律规定，即福利接受者必须报告情况的所有变化，也符合政府部门监管政府开支的义务。”[28](2.89)问题不在于人类决策也存在的错误率，而在于管理错误的流程还不够完善。发出债务通知的决定没有经过人工审核。作为既成事实的债务通知发给个人时，有些人由于地址错误而没有收到要求解释收入差异的信息[28](3.61)。用于质疑债务通知的在线门户也不好用[28](2.110)，不足以满足人们选择的需要[28](3.98) (3.106) (3.119)。出错率也可能超过了为处理上诉而设立的机构的能力。这与瑞典的ASW相比是一种劣势，人类编写该系统并对每一个决定负责，且通常会有适当的上诉程序②可将瑞典国家学生金融委员会（CSN）的决定上诉至瑞典国家学生援助上诉委员会。。结果是，在Robo-debt中，法律很可能以不可预测和前后矛盾的方式被误用。

当从预先编程的规则转向数据衍生出的规则时，决策的可预测性和一致性可能会降低。这并不是因为计算机不按编程运行，而是因为就像人类儿童学习一样，很难预先预测结果，而且随着学习的继续，行为也会发生改变。细想COMPAS工具的现状（上文已经探讨了其由于透明性问题而受到限制），那些开发该工具的人不一定事先就知道哪些条件与特定的行为（如再次犯罪）相关，是单独还是结合在一起才相关。给个人评分的规则，很可能是通过监督机器学习过程，从大量数据（记录历史再犯罪行为数据）中衍生出来的。因此，系统的行为很难甚至有时不可能被人类提前预测。

机器学习给可预测性和一致性带来了新问题，因为它不断地从输入的新数据“学习”。如果它给一个人可能再犯罪打了低分，从而辅助法官做出假释的决定，但这个人却再次犯罪，这将反馈给算法，以便随着时间的推移提高其预测精度。在这种情况下，与他类似的新个体时将会有不同的评估结果，即更高的再犯罪风险分数和更低的假释机会。这意味着该系统评估类似的个体时随时间的不同而不同。正如下文所讨论的，这不仅是一致性的问题，而且是法律面前人人平等的问题。

此外，法官和风险评估工具在评估再次犯罪风险方面也存在差异。虽然法官量刑考虑的信息一般不受传统证据规则的限制，这些信息可以包括被告的个性和犯罪历史等③在美国，《联邦证据规则》一般不适用于量刑。，但量刑过程本身必须满足自然公正或正当程序的要求④这在美国最高法院审理的Gardner v Florida（430 U.S. 349，359（1977））一案中得到了确认。。因此，法官不太可能根据被告的固有特征，例如他们的父母是否离婚，作出量刑决定[29]。COMPAS所依赖的变量可能会被人类法官认为与再犯罪不相关，这一事实致使法官根据法律作出的决定与算法推断建议的决定不一致。特定案件中机器学习所依赖的数据缺乏透明度，再加上算法本身的不透明，使法官很难改变他们对辅助决策工具的期望，从而确保决策工具的合理使用。

自动化可以通过消除人们所熟知的任意性，来提高决策的可预测性和一致性。然而，这样的益处只有在自动化过程足够透明，对其进行属性评估（为了准确性和与法律要求的一致性），并采取适当措施管理可预见的错误的情形下才能实现。这些措施应包括对输出进行人工核查，对出现错误可能和可能出现错误的情况进行明确解释，以及建立透明和有效的上诉程序。这些都是设计问题。

依据人为制定规则（源自成文法或法官造法）的自动化可以确保每次都做出正确的决策，并能够克服人为错误和腐败问题。应用衍生于数据的规则的系统带来了更复杂的挑战，尤其是在确保“成文法律”的可预测性和一致性方面。监督式机器学习和其他迭代系统也会随着时间的推移而难以保持一致性。然而，从可预测性和一致性的角度来看，这些问题可以控制。第一种情形通过系统的设计以及独立的测试和评估来控制，第二种情形通过改进持续性学习来控制。通过使用显式编程（explicit programming）来自动应用固定规则（最初衍生于数据，例如通过机器学习），从而将这两种类型的自动化结合起来的系统，可以确保长期的一致性。因此，自动化对可预测性和一致性是有益的，尽管有证据表明在实践中可预测性和一致性可能无法实现。

（三）法律面前人人平等
自动化可以减少法律适用的任意性，消除偏见，消除腐败，从而增强法律面前人人平等原则。例如，通过使用摄像头和脸部识别技术，中国的SCS可以用于确保所有违反特定规则（如乱穿马路或非法停车）的人都得到相应的惩罚。相比之下，如果没有这样的自动化系统，针对这类轻微违法行为的制度需要“抓住”每一个人，处罚的严厉程度往往取决于相关官员的裁量和“慷慨”。此外，与瑞典ASW 或澳大利亚Robo-debt 类似的专家系统，提供相同的输入给出相同的答案，这有助于确保处境相似的个人得到平等对待。这些事例展现了某些类型的自动化，如何消除有偏见的人歧视不受欢迎群体的能力。一个适当设计的系统可以通过只应用与决策真正相关的条件，来消除有意识和无意识的偏见。

然而，自动化能够给法律面前人人平等带来的益处，面临两个相互关联的挑战。首先，政府决策的自动化可能会损害正当程序权利和法律平等适用于所有人的程度；其次，它可能会破坏不同地位的人平等享有法律权利的程度。

首先，自动化可能会损害个体正当程序权利，因为它可能削弱个人改变或质疑影响他们的决定的能力。这可能是因为他们无法获取用于决策的关键信息及确定其准确性。例如，在Robo-debt事例中，审查和纠正信息的权利受到了损害，因为政府发送给个人的信没有解释年收入变化在准确计算福利待遇方面的重要性。向未对政府负债的福利接受者发出债务通知，却不为其提供纠正影响他们的错误数据的真正机会，这实际上剥夺了他们的正当程序权利，从而否定了法律面前人人平等。

相比之下，瑞典ASW 事例中官员的参与有助于解释自动化决策过程，并为那些受影响的人提供及时更正信息或行使复查权的机会。此外，通过相对直接的上诉程序来挑战CSN的决定也改善了自动化决策过程。例如，一名因残疾而被阻止进入就业市场的学生，使CSN 的初始决定在瑞典国家学生援助上诉委员会审查后被推翻[30]。该委员会的决定被认为非常重要且符合公众利益，该决定可在其网站上查阅[31]。

与此类似，在上海市社会信用系统（SCS）模式下，个人有权利知道其社会信用信息的收集和使用，并可以访问和质疑其信用报告中包含的信息[32]。市公共信用信息服务中心将在收到异议材料后五个工作日内决定是否对信息进行修改。这些权利在实践中受到了中国公民刘虎的检验。由于不小心将罚款交到一个错误的账户，刘虎被列入SCS 的黑名单而无法订到机票[33]。在法院得知刘虎犯了一个无心之过后，其社会信用报告上的信息被改正过来。

在机器学习应用到政府决策的情况下，不够透明是正当程序权利受到损害的主要原因。在卢米斯案中，威斯康辛州最高法院裁定正当程序得到了保障，因为COMPAS的评分只是法官考虑的众多因素之一[34](p755)。然而，很难确定法官对COMPAS的使用将在自动化的范围内走多远，特别是一些法官可能会仅把它当作裁决的一个很小考量因素，而另一些法官可能担心，基于其他考量而忽略有关危险的“客观”证据将受到公众、政治或上诉法院的批评。因此，很难评估个人决策在多大程度上是基于COMPAS的评分[35](p767-774)。此外，有理由相信分数将获得其本应具有的更大影响力——首席大法官会议（Conference of Chief）等机构对这类系统的赞扬表明，“客观性”的吸引力蒙蔽了司法部门的许多人，使他们看不到这类软件的实际缺陷。

其次，运用自动决策使政府对任何人不论其地位都平等享有法律权利以及在取得这些权利时“类似情形类似对待”的观念，带来进一步的挑战。这包括政府不应因个人所属族群或不可改变的特征而区别对待的观念①人们特别强烈地反对法院系统地对贫穷、未受教育或来自特定群体的被告作出更为严厉的判决。。自动决策系统，例如COMPAS 和芝麻信用，可能破坏这一原则，因为它们可能：（1）明确纳入和依赖各种静态因素和/或不可变的特征，例如社会经济地位、就业和教育、邮政编码、年龄或性别；（2）间接地考量这些因素，例如“学习”与这些因素相关的变量的关联性。例如，卢米斯案中，被告辩称，法官对COMPAS 评分的考虑侵犯了他的宪法权利，因为COMPAS 软件使用了“性别评估”[35](p757)，而这反过来又损害了他获得个性化判决的权利。如前所述，使用COMPAS和类似量刑软件，可能使法官在量刑方面长期被认为是不适当的因素和特征。

法律面前人人平等面临的最大挑战，并非来自明确编入自动系统中的不恰当的变量，而是来源于自动系统从历史数据及相互关系中推断出的规则。即使在学习过程中没有使用种族等变量，机器仍然可以生成带有种族或其他偏见的评估。如前所述，2016 年ProPublica 的一项调查发现，非裔美国人比白人更有可能在COMPAS 风险评估软件中被误判，尽管（声称）事实上并没将种族作为变量使用[30]。因为包括Facebook 的“喜好”等公开信息在内的许多其他因素都与种族相关，而其并未排除在机器学习过程之外，从而导致法律面前不平等对待的结果②有发现表明，能轻易获取的如Facebook“喜好”的这类数据记录，可以被用来自动地和精确地判断包括性取向和种族等方面的高度敏感个人信息。。此外，量刑问卷中的数据（COMPAS 工具从中得出推论）记录了被告被警察“ 制止”的次数和第一次被警察“ 制止”的时间[35](p25-26)。基于美国执法的历史记录，非裔美国人的身份很可能与较高的被警察“制止”次数和较早的被警察“制止”的年龄相关。这样，种族差异就被建立在数据中，从这些数据就可以推导出相关性和作出推断。

与风险评估工具COMPAS 不同，瑞典ASW 的决定完全基于法律相关因素。该系统的预编程性质确保这些因素在与其相关的情况下对决定精确地起作用。作出的决定符合法律，学生根据法律受到平等对待。在中国SCS事例中，实施模式的多样性意味着法律面前人人平等受到不同程度的影响。例如，在荣成市的SCS 系统模式中，所做的决定仅仅参考明确界定的行为类别，这些行为导致分数的增减——在其预编程系统中没有考虑任何其他因素的余地。然而，与之形成对比的是，芝麻信用体系所依赖的变量并非与法治相关，比如个人社交网络联系人的排名。这可能导致实际上基于社会地位、性别或种族的差别待遇[36](p5802)。

正如我们的事例所展示的，理解政府决策自动化的益处和挑战，考量决策的背景和所应用的系统类型至关重要。一个预先设定规则的系统可以确保决策基于法律上相关的因素，从而避免或最小化官员们腐败或徇私舞弊的风险。但是，审查和纠正决定所依据的数据的程序性权利和机会至关重要，就像确保系统的逻辑准确反映法律一样。正如我们的案例研究所展示，以数据推断出的规则作为基础的系统带来的挑战有所不同。在这里，人类的作用仅限于设置参数、选择数据（可能由于人类收集实践的瑕疵而产生偏见）和决定使用哪些变量作为分析的基础。除非参与这些过程的人对决策所处的法律环境有深刻的理解，否则系统在实践中可能无法达到法律面前人人平等的标准。COMPAS 就是一个软件无法满足刑事司法程序公正需要的例子——它是一个缺乏透明度的工具，依赖于大量通常与法律不相关的信息，使得被告没有足够的机会参与法庭关于其危险性的调查，而这是最终裁决的关键组成部分。该工具对非裔美国人的“误判”比白人更多，这一事实进一步证明，人类对机器学习过程的控制不够，无法确保其运行准确。

这并不意味着，依赖于从数据中衍生出规则的系统，包括那些应用机器学习技术的系统，永远不能在政府决策中以法律面前人人平等的方式使用。机器学习可以用于制定高层政策，从交通流量管理到经济干预建模。即使在影响个人的决策层面，机器学习有时也符合甚至有利于法律面前人人平等。脸部识别如果被设计成能准确地识别不同个体的面孔，那么它可以被用来识别作为系统一部分的个体，如果编程正确，甚至可以克服人类有意识和无意识的偏见。尽管对隐私和监控的担忧可能会抵消它的益处，但在这样的系统中使用机器学习，可以通过减少人类的任意性从而更好实现法律面前人人平等。

结论
自动化可以改善政府决策。这样做的益处包括节省成本、提高速度，以及增强法治的能力。正确设计、实施和监督自动化系统，不论系统的形式是应用预定程序的规则、从历史数据中学习规则，还是二者的组合，都可以帮助政府决策更好地反映透明和责任、可预见性和一致性、法律面前人人平等的价值观。

然而，显而易见的是，本文所考查的四个自动化事例中有三个未能实现这一理想。在某些事例中，例如Robo-debt，这种失败是由于自动化系统的设计和实施不当造成的。实际上，在自动化的设计和实施阶段，人类的选择和经常出现的错误可能导致系统无法满足法治标准。与之形成对比的是瑞典ASW，该系统高度自动化，却没有引起类似的担忧。瑞典模式非常强调遵守国家的法律、官员的道德准则和公开的规制，它展示了一个精心设计的将自动化与人类责任相结合的系统如何能够带来诸多便利，同时对法治所呈现的价值观保持敏感。

然而，如果认为有效的人工设计和实施可以确保某种特定的自动化技术能够提高或至少达到法治的最低标准，那就错了。从我们的研究中可以清楚地看到，即使是在人类积极参与的情况下，某些形式的技术也会带来棘手的问题。这可能是因为自动化的形式与其应用场景不相适应。例如，机器学习带来了许多益处，但是一些技术或软件产品是以牺牲透明性和可责性为代价的。这在特定情况下可以容忍，例如发放低水平的福利待遇（有上诉机制），协助完成城市交通流量优化等工作，或为确认身份进行脸部识别。在这些情境中，从法治的角度来看，对准确性和差异性的影响进行测试和评估可能就足够了。

另外，由于机器学习无法变得透明和易于理解，不宜将其用来做出对个人生活和自由有很大影响的决定。当机器学习系统可能受到本不相关的因素影响时，比如一个人的种族，甚至是传统上不被用作歧视的变量，比如一个人的朋友的信用评级，它可能也是不合适的。当系统按照未公开的专有算法运行时，就像COMPAS 一样，这些问题会加剧。如果COMPAS 不仅用来辅助法官，而且用来取代法官，这些问题就会更加复杂。

从法治的角度来看，随着时间的推移，这些问题可能会变得更加尖锐。随着技术的发展，机器学习变得越来越复杂，政府使用的自动化模式可能越来越只有那些拥有最高技术水平的专家才能理解。其结果可能是政府决策依据的系统过于复杂，超出了受决策影响的人的理解能力。面对极端复杂的情况，无知可能会让官员们把责任转移到自动化系统上，不管这是否应该。其结果可能是自动化与法治之间的紧张关系日益加剧，即使在人类以寻求尊重这些价值观的方式设计系统的情况下也是如此。

最终，人类必须评估每一个决策过程，并考虑什么样的自动化形式是有用的、适当的和符合法治的。任何自动化组件的设计、实施和评估，以及包括人的因素在内的整个决策过程，都应该与这些法治价值观保持一致。这些价值观能否完全嵌入政府使用的自动决策和决策辅助系统，还有待观察。将法治价值观转化为系统设计者可以理解的设计规范，并通过法规、专业标准、合同、法院或其他机制加以实施，是一项艰巨的技术和法律挑战。本文讨论了这一领域普遍关注的问题，包括认识工具/设计和透明/责任之间的联系，不仅考虑时间上的一致性和可预见性，还要考虑自动化系统和人工系统之间的一致性和可预见性，嵌入程序性正当程序权利的重要性，以及从历史数据中衍生出规则与法律面前人人平等之间的张力。在政府决策自动化过程中解决这些问题，对于任何宣称坚持法治基本理念的国家都至关重要。

超出本文范围的一个更深层次的问题是，政府决策自动化本身将在多大程度上塑造法治。法治不是一个静态的概念，它随着社会价值观和政府运作的变化而发展。随着科技重塑社会，政府与社区互动，我们对法治的理解也会随之改变。诸如透明和责任、可预测性和一致性以及法律面前人人平等等价值观可能仍然是法治概念的核心，但对它们的解释和适用可能会发生改变。这些技术所带来的益处（如削减政府支出的能力），如此重要，以至于要求法治框架内的更大空间。

参考文献：

[1]J.Waldron.The Concept and the Rule of Law [J].Georgia Law Review 2008，43（1）.See also S.Sedley，Lions under the Throne: Essays on the History of English Public Law[M].Cambridge:CambridgeUniversityPress，2015.

[2]P.P.Craig.Formal and Substantive Conceptions of the Rule of Law: An Analytical Framework [J].Public law 1997.

[3]Report of the International Congress of Jurists，The Rule of Law in a Free Society [R].New Delhi: In⁃ternational Commission of Jurists，1959.

[4]P.Gowder.The Rule of Law in the Real World[M].Cambridge: Cambridge University Press，2016.

[5]L.Bennett Moses and L.de Koker.Open Secrets:Balancing Operational Secrecy and Transparency in the Collection and Use of Data for National Security and Law Enforcement Agencies [J].Melbourne University Law Review，2017，41.

[6]J.Finnis.Natural Law and Natural Rights[M].2nd ed.Oxford: OUP，2011.

[7]W.Eskridge and P.Frickey.Hart and Sacks’s The Legal Process: Basic Problems in the Making and Application of Law[M].Westbury，NY: Foundation Press，1994.

[8]R.Dworkin.Law’s Empire[M].Cambridge，MA:Belknap，1986.

[9]J.Rawls.A Theory of Justice[M].Oxford: OUP，1999.

[10]D.A.Waterman and M.A.Peterson.Models of Legal Decision-making: Research Design and Methods[M].Santa Monica，CA: Rand，1981.

[11]R.E.Susskind.Expert Systems in Law: A Jur⁃isprudential Inquiry[M].Oxford: Clarendon Press，1987.

[12]Commonwealth Ombudsman.“Centrelink’s Automated Debt Raising and Recovery System: A Re⁃port about the Department of Human Services’Online Compliance Intervention System for Debt Raising and Recovery”Investigation Report，2017[EB/OL].https://www.ombudsman.gov.au/__d ... /0022/43528/Report- Centrelinks- automated- debtraisingand-recovery-system-April-2017，2018-11-27.

[13]T.Carney.The New Digital Future for Welfare:Debts without Legal Proofs or Moral Authority? UNSW Law Journal Forum，May 2018[EB/OL].http://www.un⁃swlawjournal.unsw.edu.au/wpcontent/uploads/2018/03/006-Carney.pdf，2018-08-16.

[14]P.Hanks.Administrative Law and Welfare Rights: A 40-Year Story from Green v Daniels to“Robot Debt Recovery”[J].AIAL Forum，2017，89（1）.

[15]CCJ/COSCA Criminal Justice Committee.In Support of the Guiding Principles on Using Risk and Needs Assessment Information in the Sentencing Pro⁃cess（Resolution 7，adopted 3 August 2011）[EB/OL].http://ccj.ncsc.org/˜/media/Microsites/Files/CCJ/Reso ⁃lutions/08032011-Support-Guiding-Principles-Using-Risk- Needs- Assessment- Information- Sentencing-Process.ashx，2018-08-15.

[16]State of Wisconsin v Loomis 881 N.W.2d 749（Wis.2016）[E].The United States Supreme Court denied certiorari on 26 June 2017.

[17]J.Angwin et al.“Machine Bias”ProPublica，23 May 2016[EB/OL].https://www.propublica.org/article/machine- bias- risk- assessments- in- criminal- sen⁃tencing ，2018-08-16.

[18]Näringsdepartementet， Statens Offentliga Utredningar.“En digital agenda i människans tjänst [A digital agenda in the service of people]”Statens Of⁃fentliga Utredningar [Official Reports of the Swedish Government]，Report no SOU 2014:13，2014[EB/OL].https://www.regeringen.se/rattsl ... 2014/03/sou-201413/ ，2018-08-16.

[19]See the website of the CSN[EB/OL].https://www.csn.se/languages/english.html，2018-11-06.

[20]E.Wihlborg，H.Larsson.and K.Hedström.“The Computer Says No!” A Case Study on Automated De⁃cision- Making in Public Authorities[C].2016 49th Hawaii International Conference on System Sciences.

[21]Swedish Tax Agency.“Taxes in Sweden: An English Summary of Tax Statistical Yearbook of Swe⁃den” 2016[EB/OL].https://www.skatteverket.se/down⁃load/18.361dc8c15312eff6fd1f7cd/1467206001885/taxes-in-sweden-skv104-utgava16，2018-09-10.

[22]R.Creemers.Planning Outline for the Con⁃struction of a Social Credit System（2014—2020）（State Council Notice of 14 June 2014）25 April 2015 [EB/OL].https://chinacopyrightandmedia.w ... t-system-2014-2020/，2018-08-16.

[23]荣成:建信用体系，创“示范城市”[EB/OL].新华社，2017-07-13.

[24]M.Hvistendahl.Inside China’s Vast New Ex⁃periment in Social Ranking [N/OL].Wired，14 December 2017 at https://www.wired.com/story/age- of- socialcredit/，2018-09-10.

[25]R.Zhong and P.Mozur.Tech Giants Feel the Squeeze as Xi Jinping Tightens His Grip[N/OL].New York Times（online），2 May 2018 at https://www.ny⁃times.com/2018/05/02/technology/chinaxi- jinpingtechnology-innovation.html，2018-09-10.

[26]R.E.Nisbett and T.DeCamp Wilson.Telling More Than We Can Know: Verbal Reports on Mental Processes[J].Psychological Review 1977，84.

[27]J.Burrell.How the Machine“Thinks”: Under⁃standing Opacity in Machine Learning Algorithms [J].Big Data & Society，2016，3.

[28]Senate Community Affairs References Com⁃mittee，Parliament of Australia[R].Design，Scope，Cost-Benefit Analysis，Contracts Awarded and Implementa⁃tion Associated with the Better Management of the So⁃cial Welfare System Initiative（2017）.

[29]J.Angwin.Sample- COMPAS- Risk- Assess⁃ment-COMPAS-“CORE”[EB/OL]. https://www.docu⁃mentcloud.org/documents/2702103- Sample- Risk-Assessment-COMPAS-CORE.html，2018-08-16.

[30]The Swedish National Board of Appeal for Student Aid，Dnr:2014-03172[EB/OL].https://oks.se/wp-content/uploads/2016/03/2014-03172，2018-11-06.

[31]委员会决定查询网站[EB/OL].https://oks.se/avgoranden/，2018-11-06.

[32]《上海市社会信用条例》第34条[EB/OL].http://www.shdrc.gov.cn/gk/xxgkml/zcwj/zgjjl/27789.htm，2018-09-10.

[33]S.Mistreanu.Life Inside China’s Social Credit Laboratory[N/OL].Foreign Policy（online），3 April 2018 at https://foreignpolicy.com/2018/04/03/life- insidechinas-social-credit-laboratory/，2018-09-10.

[34]State of Wisconsin v Loomis 881 N.W.2d 749[E].Wis.2016.

[35]C.O’Neil.Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy[M].New York，NY: Broadway Books，2016.

[36]M.Kosinski.D.Stillwell and T.Graepel，Private Traits and Attributes are Predictable from Digital Re⁃cords of Human Behavior [C].2013 110 Proceedings of the National Academy of Sciences of the United States of America.

[DOI编号] 10.14180/j.cnki.1004-0544.2020.11.014

[中图分类号] D93

[文献标识码] A

[文章编号] 1004-0544（2020）11-0119-13

作者简介：莫妮卡·佐尼鲁特（Monika Zalnieriute），女，新南威尔士大学法学院阿朗技术、法律与创新中心博士后研究人员；莉亚·本内特·摩西（Lyria Bennett Moses），女，新南威尔士大学法学院阿朗技术、法律与创新中心主任、教授；乔治·威廉姆斯（George Williams），男，新南威尔士大学法学院院长、教授。

译者简介：廖建凯（1980—），男，湖南株洲人，法学博士，西南政法大学人工智能法学院讲师。

①本文原载于《现代法律评论》（The Modern Law Review）2019年第82卷第3期，第425—255页。感谢作者对译事的慷慨授权，受版面所限，原文的内容有所删减。本文的摘要和关键词，为译者根据原文的内容所添加，原文作者未参与本文的翻译，翻译不准确之处全由译者负责。

责任编辑 杨 幸