社科报推荐｜“有意义的人类控制”：一项新的人工智能伦理治理原则

人工智能技术的发展对未来人类社会构成治理挑战的是，社会技术系统对公共生存领域的广泛嵌入与重构，这涉及智能机器的自主权与人类控制权之间的新型分配秩序问题。近年来，随着自动驾驶、手术机器人、智能家居、智能招聘、智能问诊等算法决策系统的商业化与社会化应用的日益普及，使得人类主体在关键决策领域不断让渡控制权，而智能机器自主权扩大的同时，又相应增加了人工智能的伦理、法律与社会监管问题。在此情境下，人工智能治理重新强调人类必须保证对智能机器自主决策行为的控制。但在如今非直接操作意义上，如何界定更为抽象的控制关系，如何保持道德规范和明确的人类责任？对此，便有了“有意义的人类控制”（Meaningful Human Control，MHC）这一新兴人工智能伦理治理原则及其理论框架来指导实践。 1 发展历程与理论框架 近些年，负责任创新、价值敏感性设计、道德物化等研究领域强调的研发阶段价值嵌入的伦理设计理念，占据了人工智能全球治理领域的主流。但是，即便在技术研发早期阶段进行价值嵌入，可能依然无法规避人工智能在应用时引发的潜在风险。原因主要有以下两点：一方面，人工智能是一项变革性技术，能够全面渗透人类生存空间并重塑社会生产关系。因此，指导人工智能应用的价值观念是在动态演变的。另一方面，人工智能技术的迭代速度非常快，尤其是在逐步取代人类决策的控制权方面影响深远。在可预见的未来，人工智能领域可能出现“完全自主”级别的智能机器系统，或对人类社会秩序带来重大挑战。在交通、医疗、家居等同人类生活紧密相关的领域，交由智能机器全权决策，可能并不符合人类的权利和道义。因此，人类与机构而非人造技术物及其算法，应最终控制高阶自主系统的决策行为，并承担伦理与法律责任。 这一框架性的假设前提，最早出现在对人类生存最具威胁性的人工智能驱动的系统——“致命性自主武器系统”（Lethal Autonomous Weapon Systems，LAWS）领域。2012年，美国国防部颁布了3000.09指令，首次在国别层面提出自主武器系统的全生命周期必须得到人类控制并充分反映人类指挥官、操作员的意图。2014年，红十字国际委员会向全球传达就LAWS的关键功能实施MHC的理念，形成了广泛共识。同年，联合国《特定常规武器公约》正式开始将LAWS遵循MHC的伦理议题纳入框架议程。直至当前，MHC已发展为国际社会探讨LAWS的伦理、法律与公共政策框架的概念核心。不过，这一概念在实践层面仍缺乏统一界定。主要原因在于，LAWS具有特殊性，并不是同未来人类生存与生活存在普遍关联的社会技术系统，不大可能对传统公众生活模式进行颠覆。但从该领域对MHC概念的研究阐述，可以揭示人类控制智能机器并承担道德责任的基本条件：作出有意识的决定、充分理解行为的合理性及其情境、掌握应用自主系统的技能与知识。 不过，以上这些条件并不容易实现。人工智能的根本伦理挑战是责任鸿沟问题，这主要是在复杂场景的人机交互过程中才逐渐显现，导致技术性、经济性、道德性、政治性等多方原因的混合介入。另外，责任鸿沟也有多种类型，不只是道德责任，还有应受责备、公职责任、主动责任等。人与高阶智能机器的交互关系，普遍不是直接操作意义上的，不能被简单界定为“一对一”（操作者直接引导技术设备或系统的行为）的因果责任。因而，人类与智能机器之间整体上是一种新颖的“分布式控制”关系，以此作为责任归因的行动基础，就需要新的理论框架。 MHC这一概念有两个基本构成：“有意义”与“控制”。“有意义”指代人类控制智能机器行为并承担道德责任的基础条件。“控制”涉及人类主体对智能机器的控制形式的多元化。不同的控制与责任形式的集合，有利于对智能机器行为监督机制的实现。这为消解责任鸿沟问题，提供了理论切入点。德西奥（Filippo Santoni de Sio）和范登霍温（Jeroen van denHoven）就MHC的道德哲学基础进行了开创性论证。他们基于当代相容论的论证理路与认知科学、心灵哲学的最新研究成果，提供了一种社会技术系统视域下“追踪—追溯”双重条件的规则性框架。 “追踪”原则涉及人类控制者与受控系统之间的关系性本质，即系统行为能够随时随地反映实践情境中人类行动理由（意图、计划或是道德理性）的程度或质量。这一概念在哲学与伦理学中的意蕴，即允许非直接操作意义上的控制形式。“追溯”是对“追踪”的补充，指代系统行为应至少溯及一个负责任代理人（使用者、主管、设计师、立法者等）的能力。这些代理人要掌握技术的显性知识和默会知识，并意识到自身的道德承受者身份。 2 伦理规约机制 目前，MHC理论已规定了大致的内容与目标。根据“追踪—追溯”双重设计原则，实现MHC为导向的智能机器伦理设计，是以整体社会技术系统为对象，而不限于单一的技术硬件及其研究阶段的价值嵌入。不过，将MHC的规范性指示转化为可行的操作存在一些困境：追踪标准需要确定那些代理人是谁、行动理由是什么；追溯标准需要识别这些代理人是否同时兼具技术专长与道德意识。 针对追踪原则的可操作性困境，梅卡奇（Giulio Mecacci）等人基于行动哲学、行为心理学和交通工程学的研究成果，提出了一种可联结、可解释人类行动理由与系统行为之关系性的“理由接近度量表”（proximalscale of reasons）。追踪原则的操作性标准，需要代理人、行动理由对系统行为产生影响的程度可量化，以此界定道德与法律责任主体。以代理人与系统在时间、空间上的近端和远端为划分依据，代理人可区分为系统内部代理人与系统外部代理人，然后可根据代理人在内外系统的远近再进行四重角色的区分。 追溯原则的实现标准，需要能够衡量人类在多大程度上从技术专长与道德意识层面理解智能机器的设计、部署与操作，即紧密稳定在控制链上。但这里的抽象性要素存在可量化的困难。卡尔弗特（Simeon Calvert）开发了一种“评估级联表”（evaluation cascade table），可以为事关知识、能力和意图的纯粹定性评估提供实证基础。 首先，需要细化受控系统中技术专长与道德意识的类型。对于智能系统而言，代理人的技术专长可分为系统性知识与决策能力。前者涉及应用智能机器的（形式化与非形式化）知识以及既有（主动或被动的）经验，后者是实施行动理由（战略、战术、操作）的能力。道德意识则包含基本价值准则（问责、透明度、可解释等）的理解与道德的所有权意识（伦理与法律责任、对他者的影响与自身的职责定位）。 其次，需要就知识、具身性到道德感层面进行系统控制的能力，采用评估级联表进行感知调查。这是基于“李克特量表”（Likert scale）的综合应用，逐级从实施操作控制、人类代理人的参与、代理人理解和使用该系统的能力、代理人理解他们对系统的道德责任的能力，这四个方面对作为控制主体的代理人参与程度进行感知调查，通过加总方式计分来判断参与程度的大小。 接下来研究的关键是，在社会技术系统内“追踪—追溯”双重标准的整合反而成了问题。如何判断满足追溯条件的技术专长和道德意识的代理人与实现追踪条件的代理人是同一主体，并且履行对应的法律法规，都需要进一步拓展MHC的哲学框架与案例研究。 总体而言，MHC作为伦理原则的意蕴是要重申人工智能应用领域的人类安全权，其理论旨趣及实践目标是要解决技术的控制问题，从而充分反映人类的理由与意图。MHC研究的迅速推进，预示着人工智能全球治理进入新的阶段。智能系统的操作者可能不再被视为最主要的追责主体，在智能系统控制链上的代理人其参与程度将决定其责任地位。我国正处于人工智能蓬勃发展机遇期，需要关注国际社会前沿的人工智能伦理研究，及时借鉴并完善适用本土的政策法规。在MHC的道德哲学框架中，可以纳入本土的伦理要素与问责机制来拓展理论基础，进而指导、监督人工智能的全生命发展周期。 本文系国家社科基金重大项目“深入推进科技体制改革与完善国家科技治理体系研究”（21ZDA017）阶段性成果

作者单位：清华大学社会科学学院

来源：中国社会科学报