欧洲数据保护专员（EDPS）发布《自动化决策中的人工干预检查清单》，把“人工监督”从一句原则性要求拆成可询问、可记录、可审计的控制项。它提醒企业：AI 系统里出现一个人，并不等于监督真实有效。真正的监督，需要人有信息、有权限、有时间、有能力，也有组织支持。本文提供全文翻译，并附译者序与企业合规使用提示。

译者序与合规解读

为什么这份清单值得翻译

“人工监督”可能是 AI 合规里最容易被写进制度、也最容易在现实中失效的词。

很多组织在部署自动化决策系统时，会把“有人复核”“人工审核”“人工最终确认”写进流程文件。问题在于，这些表述本身并不能证明监督真实存在。一个人如果只能看到系统给出的结论，不能理解理由，不能挑战结果，不能覆写/推翻决定，或者虽然理论上可以覆写/推翻、但在组织压力下不敢覆写/推翻，那么所谓“人在回路中”，很可能只是形式上的人在场。

EDPS 这份《自动化决策中的人工干预检查清单》的价值，就在于它把“人工监督”从一句原则性要求，拆成了可以被询问、被记录、被审计的具体控制项。它并不试图回答“哪些场景法律上必须有人工监督”，而是问一个更基础也更尖锐的问题：如果你说自己有人工监督，你能证明这个监督不是装样子的吗？

这也是我选择全文翻译这份文件的原因。它篇幅不长，但非常适合直接变成企业内部的自查表、审计清单和 AI 治理访谈提纲。尤其对正在处理招聘筛选、信贷风控、保险核保、平台治理、内容审核、员工管理、福利资格判断等自动化决策场景的团队来说，这份清单提供的不是法定义务的最低标准，而是一套判断人工监督是否真实有效的“最小证据单元”。

有一个术语边界需要先说明。原文标题使用 human intervention，但正文主要围绕 human oversight 展开。本文根据语境将 human oversight 译为“人工监督”，将 override、suspend、disregard 等具体动作译为“人工干预”“覆写/推翻”“暂停”或“不采纳”。也就是说，前者更接近治理机制，后者更接近人在具体个案或系统运行中的操作动作。

文件主要讲了什么

这份清单首先划定了边界：人工监督不是万能补丁，也不能替代健全的系统设计。如果一个 ADM 系统必须频繁依靠人工干预才能避免有害结果，问题可能不在监督流程，而在系统本身还不适合上线。

在这个前提下，EDPS 将人工监督放在两个层面讨论。

第一层，是适用于所有可能影响个人的 ADM 系统的基础控制。这里包括治理框架、用户培训、问责机制、监督 KPI、可解释性、四眼原则、反馈闭环、用户专业能力和批判意识。它关心的是：组织有没有把监督设计成一个真实运行的治理机制，而不是事后补一张签字表。

第二层，是当存在专门操作员、且操作员有权干预系统行为时的进一步控制。这里包括授权、复核时间、界面设计、审计、警觉辅助和抽样。它关心的是：一线操作员是否真的有能力、有时间、有信息、有界面工具、有组织授权去暂停、覆写/推翻或不采纳系统结果。

这份清单背后的核心判断很清楚：人工监督的有效性，不取决于制度文件里有没有“人工审核”四个字，而取决于人在系统中的权限、信息、独立性、训练、激励和留痕是否共同成立。

更进一步看，这份清单其实是在回答一个更底层的问题：什么样的人，才可能真正构成 AI 系统的监督者？答案不是“流程中出现了一个人”，而是五个条件同时成立：第一，他有足够的信息，能够理解系统逻辑、置信分数和具体决定理由；第二，他有真实权限，可以质疑、覆写、暂停甚至触发停线；第三，他有现实时间，不是在高负荷、多任务和情绪压力下匆忙背书；第四，他有专业能力和批判意识，能够识别自动化偏见，而不是默认系统更客观；第五，他有组织支持，覆写/推翻系统不会被追责，失败会触发根因分析而不是寻找替罪羊。只有这五个条件同时成立，人工监督才不是“人在场”，而是“人能发挥作用”。

对企业的实际含义

第一，企业需要重新审视“人工审核”到底是什么。很多流程中的人工审核，其实只是人工点击确认、人工转交、人工抽查或人工背书。按照 EDPS 的思路，这些安排未必构成有效监督。有效监督至少要能回答：人能不能看懂系统为什么这样判断？能不能质疑？能不能覆写/推翻？覆写/推翻之后会不会被追责？这些动作有没有记录？

第二，自动化偏见应当成为培训和审计的重点。所谓自动化偏见，并不是操作者不负责任，而是人在面对系统输出时，很容易默认机器更准确、更中立、更客观。如果组织只告诉员工“系统很先进”，却没有训练他们识别系统错误、挑战高置信度输出、在无系统支持下独立判断，人工监督就会自然滑向形式化。

第三，监督质量需要指标化。EDPS 在清单中提到错误发现率、覆写/推翻频率、操作员之间的一致/不一致比例、响应速度、抽样审计等指标。这意味着企业不能只证明“有流程”，还要证明“流程有效”。未来一旦进入监管调查、争议处理或诉讼，真正有说服力的材料不会只是制度文本，而会是日志、样本、培训记录、覆写记录、申诉/救济处理记录和复盘报告。

第四，系统设计和人工监督不能互相甩锅。一个常见误区是：系统不够可靠，就安排人工复核；人工复核压力太大，又回头依赖系统置信分数。EDPS 明确提醒，人工监督不能弥补根本有缺陷、不安全或不可靠的系统。对高风险 ADM 场景来说，上线前的系统评估、上线后的监督机制和持续改进必须连在一起。

第五，这份清单虽然面向欧盟机构，但对企业有直接参考价值。它不是正式合规评估工具，也不是对 EUDPR、GDPR 或《人工智能法》中自动化决策/人工干预义务边界的完整解释。原文件面向欧盟机构使用，企业可以将其作为 ADM/AI 治理成熟度自查、DPIA/AI 风险评估和供应商尽调的参考工具。

建议企业如何使用这份清单

1. 先列出所有可能对个人产生重大影响的自动化决策或决策支持场景，例如招聘、信贷、保险、教育、医疗、员工管理、访问控制、内容推荐或内容处罚。
2. 对每个场景区分“系统自动作出决定”与“系统提供建议、由人作出决定”。后者也不能自动排除风险，因为人的决定可能已经被系统输出实质性塑造。
3. 找一线操作员做访谈，而不是只看制度文件。重点问：你上一次覆写/推翻系统输出是什么时候？你为什么敢覆写/推翻？覆写/推翻后发生了什么？你是否知道系统的主要局限？
4. 抽查日志和样本，看人工监督是否留下可审计证据。没有覆写记录、没有分歧记录、没有申诉/救济闭环、没有复盘记录的监督，很难证明其有效性。
5. 把自动化偏见纳入培训与测试。可以设置无系统支持判断、模拟异常、红队样本、错误案例复盘，观察操作者是否会过度依赖系统。
6. 对具有重大影响的 ADM 场景设置明确的停线机制。如果操作者发现系统性问题，却没有暂停系统或升级处理的实际权限，人工监督就缺少关键牙齿。
7. 在供应商尽调中加入人工监督问题。不要只问模型准确率、接口安全和数据处理条款，也要问系统如何支持解释、覆写、日志、抽样、申诉/救济和操作员培训。

本文的阅读方式

建议读者不要把这份文件当作普通政策文本来读，而是把它当作一张审计表。

读每一项时，都可以追问三个问题：我们有没有这项控制？有没有证据证明它真实运行？如果监管者、法院、客户或员工要求我们解释，我们能不能拿出材料？

如果答案只是“制度上有”，那还不够。EDPS 这份清单真正提醒的是：AI 治理中的“人”，不能只是流程图上的一个节点。人必须拥有信息、权限、时间、能力和组织支持，才能真正构成监督。

全文翻译

目的和范围

通过仅有有限人工干预或没有人工干预的自动化决策（ADM）系统处理个人数据，可能会对个人的基本权利和自由产生重大影响。当这些决定具有法律效果，或者可能对个人产生重大影响时，尤其如此；其中也包括偏见或系统错误可能导致歧视、不平等待遇或其他不利结果的情形。因此，部署此类系统时，应当配备适当的治理措施，包括稳健的程序和控制机制，以确保其合法、公平、可问责地使用。

一项重要控制措施是人工监督。人工监督是指由人主动参与，对 ADM 系统的运行进行有意义的监督，评估系统输出，并在必要时进行干预，即覆写/推翻、暂停或不采纳某一自动化输出，尤其是在系统产生错误、有偏见或不适当结果的情况下。

在本文件中，“人工监督”是指一组措施，旨在 ADM 系统运行期间以及运行之后，将对个人的潜在负面影响降至最低。

人工监督通常被提出作为降低 ADM 系统部署相关风险的一项关键措施。然而，尽管人工监督仍然是一项重要保障措施，但不应将其视为能够完全消除这类系统固有风险的“灵丹妙药”；这些风险包括影响人与 ADM 系统互动的偏见所产生的风险，也包括监督系统运行环境所产生的风险。

事实上，人工监督的有效性在很大程度上取决于其在实践中如何设计和实施。¹

监督机制应当根据 ADM 系统使用的具体情境进行定制，并与其对个人和社会造成的风险水平相称。可能对自然人的权利和自由造成高风险的处理，将需要更加正式、稳健且具备故障安全能力的监督流程；而风险较低的处理活动，则可以采用更轻量的监督方式。在所有情况下，监督都应当被清楚界定、妥善记录，并由适当的组织实践、培训和技术保障措施提供支持。

本文件提供一份检查清单，欧盟机构、机关、办公室和部门（EUIs）可以将其作为自我评估工具，用来衡量适用于其 ADM 系统的人工监督措施的成熟度。

免责声明

需要注意的是，在 EUDPR 适用主体范围内，欧盟机构数据保护条例（EUDPR）的要求适用于任何处理个人数据的系统，无论该系统是否构成 ADM。

最后，还应当牢记，人工监督不能替代健全的系统设计。

监督机制在降低风险方面发挥关键作用，但不应被用来替代对存在根本缺陷、不安全或不可靠的自动化系统本身进行处理。如果一个 ADM 系统需要频繁的人工干预才能正常运行，或者需要频繁的人工干预才能避免有害结果，这表明该系统在设计和部署适当性方面存在缺陷；在这些风险得到妥善缓解之前，不应将此类系统投入生产。

自我评估检查清单

第 1 节

本节中的控制措施广泛适用于任何其决定或建议可能影响个人的系统。

治理：有记录的人工监督和问责

• [ ] 存在针对 ADM 系统人工监督的、明确定义并形成文件的治理框架，包括角色、职责和升级处理程序。

用户培训：用户已准备好与决策支持系统互动

• [ ] 用户接受关于系统能力/局限性的强制性入职培训（包括可能的失效场景）。
• [ ] 用户培训包括基于场景的练习，并纳入已知失效案例和经验教训。
• [ ] 用户培训包括关于伦理决策的内容。
• [ ] 用户培训涉及认知偏见和自动化偏见，以防止“过度信任系统”。

问责：故障触发系统性复盘，而不是替罪羊机制

• [ ] 存在确保对受 ADM 影响的决定进行问责的机制（例如审计轨迹、决策日志），尤其是在可能发生自动化偏见的情况下。
• [ ] 经验教训被记录下来，通过有针对性的技术和组织措施加以强化，并被纳入用户培训。
• [ ] 在发生故障后实施根因分析规程（RCA）²（即“哪里出了问题，为什么出问题？”）。
• [ ] ADM 系统更新时，人工监督规程也会被重新评估（系统逻辑的变化可能会使此前的人工培训失效）。

参与：监督被视为一种保障措施，而不是一种形式要求

• [ ] 为监督定义了 KPI（例如错误发现率、覆写/推翻频率）。
• [ ] 监督对决策过程质量的影响被衡量，并被纳入组织的 KPI。
• [ ] 指标会被定期审查并向管理层报告。
• [ ] 向最高管理层提供 ADM 监督方面的培训/复训。

可解释性：决定具有足够可解释性，使用户能够进行评估

• [ ] 系统用户获得关于 ADM 逻辑的通俗语言摘要，或获得每项正在复核的决定的理由。
• [ ] 有明确证据表明，所有决定都可以追溯到所使用的基础依据和理由。
• [ ] ADM 系统输出会显示置信分数。³

四眼原则：具有重大影响的决定由不止一名用户检查

• [ ] 对具有法律效果或对个人权利和自由具有重大影响的决定，由不止一名用户进行独立监督（例如纪律处分程序、资金撤回）。
• [ ] 建立正式的升级处理机制，以解决人工监督者之间，或人与高置信度 ADM 系统之间的分歧，包括形成文件的打破僵局流程，并在必要时升级至高级管理层。
• [ ] 系统操作员之间的一致/不一致比例被记录。

反馈闭环：受影响个人可以提供反馈，反馈随后被整合回系统

• [ ] 受影响个人可以使用无障碍且用户友好的申诉/救济机制。
• [ ] 用户反馈被整合进 AI 模型再训练或系统更新。

专业能力：用户具备相关领域资格

• [ ] 针对处理关键系统的每一项用户职能，存在更新后的岗位能力矩阵（即评估候选人时寻求哪些特征）。

批判意识：培训和规程防止对自动化的盲目信任

• [ ] 定期在没有 ADM 支持的情况下测试操作员决策。
• [ ] 操作员在不同任务之间轮换，以避免习惯化。

第 2 节

本节中的控制措施适用于存在负责监督 ADM 系统的操作员，且这些操作员有权干预系统行为的情形（例如暂停系统或不采纳决定）。

授权：操作员拥有履行职责所需的适当权限

• [ ] 分配给操作员的监督任务已经被清楚界定、传达并形成文件。
• [ ] 任务描述中明确说明可以覆写/推翻系统决定。
• [ ] 存在正式机制，确保操作员可以行使“停线”权限，在怀疑存在系统性问题时暂停或停止整个系统，且不面临报复或不利后果的风险。

复核时间：监督任务被分配了现实可行的时间框架

• [ ] 为每个班次的操作员分配最高工作量限额。
• [ ] 在处理监督任务时，操作员不参与其他任务。
• [ ] 存在正式要求，强制要求负责高利害关系或情绪负荷较高决定的操作员享有“冷静期”，以确保判断质量能够持续，并保障操作员福祉。

界面设计：清晰、直观，避免过载，并允许快速干预

• [ ] 已与具有代表性的操作员进行可用性和无障碍测试（操作员反馈中的非预期反应或问题被妥善记录）。
• [ ] 测量操作员的平均反应时间。
• [ ] 界面上的覆写按钮/命令易于访问。
• [ ] 用户界面被设计为遮蔽对于决策复核并非严格必要的敏感数据，从而将数据保护风险降至最低。

审计：定期内部和外部审计包括技术因素与人的因素

• [ ] 系统决定的所有覆写/推翻情况都被记录并接受分析。
• [ ] 对 ADM 进行独立第三方审计（包括操作员角色）。
• [ ] 定期对决策日志进行内部审计。

警觉辅助：模拟异常/检查点保持操作员注意力

• [ ] 在测试不会对操作员表现造成不利影响且不会影响个人的情况下，定期引入“红队”异常注入。
• [ ] 每次演练中，操作员响应的准确性和速度均被记录和衡量。

抽样：选择一部分决策日志用于审计

• [ ] 按照确定的抽样率（例如总量的 10%）对日志进行抽样和分析。
• [ ] 样本包含不同类型的 ADM 结果（例如正面结果和负面结果）。

说明：本文件为公众号渲染试稿，建议在浏览器中打开后复制渲染结果，再粘贴到公众号编辑器。