当AI从生成答案走向执行任务,企业如何持续控制个人信息处理?本文先讨论ICO证据征集的法律与实践启示,再完整呈现专题主页面、全部11个子页面及两个附件的中文译文。

三个阅读看点

01

六个议题与动态处理

02

权限与个人知情

03

法律角色与实际控制

01 · COMMENTARY

译者评论


AI智能体(AI agent)可以读取文件、检索数据库、调用外部工具,甚至修改记录、发送消息和执行交易。当这些能力被组合进代理式AI(Agentic AI)系统,企业需要了解的不只是模型给出了什么答案,还包括它为了完成任务,访问了什么信息、将信息交给了谁,以及最终采取了什么行动。

在我看来,这是英国信息专员办公室(ICO)此次证据征集最值得关注的问题:当系统能够自主选择处理路径时,企业如何继续控制个人信息处理,并证明这些处理符合数据保护要求。

一、六个议题,共同指向完整的数据处理过程

此次征集围绕数据安全、透明度、问责性、自动化决策、公平性与目的限制,以及处理的合法性展开。ICO希望了解组织已经如何应对这些问题,哪些技术、治理和组织措施有效,以及还需要哪些监管指导。它也询问采用代理式AI的成本、障碍和收益;因此,这份文件既关注个人保护,也关注负责任创新的实际条件。ICO证据征集主页面

ICO还明确表示,征集到的证据将为其AI与自动化决策法定实务守则(statutory code of practice)提供依据。因此,这次征集也是形成后续监管说明的一部分;拟制定的守则内容仍不能当作已经生效的要求。ICO证据征集主页面

理解这份文件,需要区分三个层次:现行法律要求、ICO对这些要求在代理式AI场景中如何适用的说明,以及仍在征集证据的问题。文件列举某种技术措施,并不意味着所有组织都必须采用同一种实现方式。下文提出的企业做法,也属于本评论的实施建议。

代理式AI带来的难点,在于任务目的可以相对稳定,执行路径却不断变化。例如,用户希望助手安排一次出差,智能体可能选择不同的搜索服务、读取不同的日历信息,并向不同服务提供者发送数据。一次任务运行正常,并不能充分说明下次运行会访问同样的数据、遵循同样的路径。这种动态性,使权限、告知、责任分配和处理基础都需要落实到实际流程中。关于代理式AI

信息用途也可能在运行过程中延伸:为一项任务取得的信息,可能进入记忆或被用于另一项任务。我的判断是,企业需要同时审查执行路径的变化和后续用途,并通过设计、运行控制与必要记录,使已经确定的处理边界持续有效。ICO将“通过设计和默认设置保护数据”(data protection by design and by default)作为六个议题的共同基础;这也为上述分析提供了依据。征集证据的六个议题

二、自主执行越多,权限与告知越需要具体

在数据安全方面,ICO强调,应根据系统的具体能力、连接和处理活动评估风险,并实施适当、成比例的技术和组织措施。它讨论最小权限、工具限制、人工批准阈值、智能体身份和会话隔离等控制方向。对企业而言,关键是明确一个智能体能访问什么、能做什么,以及哪些行动需要进一步批准。主题一——数据安全

假设一个客服智能体需要查询订单。企业可以据此检查:它是否同时取得了修改账户资料、导出全部客户记录或调用其他服务的权限?这些额外能力是否与任务需要相匹配?本评论建议将读取、修改、发送和删除等权限分别审查,并把高风险行动的批准条件写清楚。“已经接入系统”不足以描述一项具体的数据处理授权。

透明度也有类似问题。ICO要求在适当时间提供相关信息,并提出:当任务过程中出现新的数据来源、工具或具有重大后果的行动时,事前的一般说明是否仍然足够?它讨论通过补充信息、通知和批准步骤,让个人了解正在发生的处理。主题二——透明度

因此,我建议企业结合具体任务判断告知和确认的时点。例如,在即将向新的外部服务发送客户信息时,提示应当能够说明接收方和拟进行的行动。确认按钮是否有意义,取决于用户看到了什么、能够选择什么,以及拒绝之后系统如何处理任务;不能只统计用户点击了多少次“同意”。

这里需要区分技术授权、操作批准与法律上的有效同意:允许智能体调用工具、批准发送一次信息,与以同意作为个人信息处理的合法性基础,具有不同作用。PECR要求的同意还需要结合设备的订户或用户判断。一个按钮可以承载不同功能,点击本身并不证明各项法律条件均已满足。主题六——处理合法性、ICO设备存储与访问规则

操作人也可能并非相关个人信息的数据主体。例如,员工批准智能体分析客户投诉,并不当然构成客户对其个人信息处理的有效同意。本评论建议分别核实员工的操作权限、拟开展处理的法律依据,以及客户或其他相关个人的知情和权利保障;不能用其中一项替代其余判断。

三、合同上的角色名称,需要与实际控制相符

代理式AI可能同时涉及模型开发者、平台、内部集成方、工具提供者和最终用户。ICO强调,控制者身份需要结合谁决定或足够影响处理目的和方式来判断。在这一场景中,谁设定目标、决定可用模型和工具、配置协议及访问权限,都可能影响判断。开发者提出自己仅对初始开发及与维护、安全有关的处理承担控制者责任,也不能替代对具体处理的分析。主题三——问责性

建议企业把合同中的角色描述与实际配置放在一起审查:可供智能体选择的路径和权限由谁设计、决定和控制,哪些在任务运行中发生变化?如果企业不知道智能体调用了什么工具、谁接收了数据,就很难说明自己如何控制相关处理。

还需要区分系统的实际执行与对处理目的、方式的决定。例如,企业设定客服业务目标,平台决定可用的外部模型、工具及数据流转方式。作为企业审查建议,供应商尽职调查和数据处理协议审查需要关注这些配置由谁决定、谁能够改变,以及其对具体处理产生何种影响。应结合上述事实,判断平台在具体处理活动中属于控制者、共同控制者,还是处理者。合同称谓同样不能替代这一分析。

日志、追踪和权限记录,可以为这一判断提供事实基础,但它们并不自动决定法律角色。一份技术日志需要能与业务目的、授权和责任安排联系起来,才能帮助企业解释某项处理为什么发生、由谁决定,以及出现问题时由谁采取措施。

四、人工参与和用户指令,都要检查其实际作用

自动化决策:先看人工参与的实际作用

例如,招聘智能体完成候选人筛选后,即使人力资源经理点击了“通过”,也不能仅凭这一操作认定存在有实质意义的人工参与。还要看经理是否实际审查了信息,并有能力和权限影响结果。

文件引用的是英国GDPR第22A—22D条。ICO指出,某一阶段有人参与,不必然使整体决定排除在相关条款之外;反过来,系统使用了代理式AI,也不当然意味着这些条款适用。评估需要覆盖完整工作流,关注人工参与是否确实能够影响结果。主题四——自动化决策

这些编号背后有一项法律改革。英国《2025年数据(使用与访问)法》(Data (Use and Access) Act 2025,DUAA)第80条以第22A—22D条替换了英国GDPR原第22条;相关自动化决策修改于2026年2月5日生效。改革扩大了非特殊类别个人信息用于完全自动化重大决定的空间,同时保留保障要求;特殊类别个人信息则仍受第22B(1)—(3)条的限制。DUAA第80条、生效规定第2(j)条、ICO改革说明

判断可以分三步:先看决定是否对个人产生法律效果或类似重大影响,这决定了它是否属于“重大决定”;再看作出决定时是否存在有实质意义的人工参与,没有则属于完全自动化决定;最后判断适用的限制和保障。前两项由第22A条界定。

对于完全或部分基于个人信息作出的重大决定,如果它完全基于自动化处理,第22C条要求设置保障,包括提供决定相关信息,使个人能够提出意见、获得控制者的人工干预并质疑决定。第22A—22C条,由DUAA第80条引入

在我看来,代理式AI使改革后的规则面临一个具体难题:多个智能体、工具和人工节点共同形成结果时,企业如何判断人工参与是否在作出最终决定的过程中发挥了实质作用。评估因此需要把各节点连成完整的决策过程。

企业不能仅凭流程中存在“人工审核”节点就结束判断。本评论建议检查,审核者是否获得了必要的信息,是否理解系统的局限,是否有能力和权限改变结果,以及介入时决定是否已经实际作用于个人。决定作出后请求人工干预的权利,与决定作出前有实质意义的人工参与,应当分别评估。

处理合法性:逐项确定依据

ICO明确指出,用户向智能体发出指令,或者与服务提供者存在合同,并不自动为后续全部处理提供合法性基础。合同基础涉及客观必要性,不同处理阶段可能需要不同基础;专题中讨论的正当利益也不能默认适用,文件要求以正当利益评估为前提。主题六——处理合法性

补充说明——两种正当利益基础: 一般正当利益与改革新增的“法定认可的正当利益”(recognised legitimate interests)需要区分。后者是第6(1)(ea)条规定的另一项基础,二者的适用条件和评估要求需要分别判断。尤其是第22B(4)条:如果为作出重大决定而进行的个人信息处理,全部或部分依赖第6(1)(ea)条,该决定不得完全基于自动化处理作出。ICO改革说明、第22B(4)条

设备信息的存储和访问还需单独检查《隐私与电子通信条例》(PECR)第6条。其对象是终端设备上的信息,并不限于个人信息;在适用范围内,通常需要事先告知和取得同意,除非满足相应例外。具体网络环境、访问方式及例外条件都需要分析,不能从智能体能够读取本地文件,直接推断所有访问均须重新征求同意。涉及个人信息时,还应满足英国GDPR的适用要求。ICO设备存储与访问规则、PECR与英国GDPR的关系

因此,建议将一个业务任务拆成具体处理活动。例如,读取客户资料、向外部工具发送信息、保留交互记忆,以及利用记录改进系统,应分别说明目的和依据。某项读取对于完成任务是必要的,并不能直接证明长期保留或后续训练也具有相同依据。技术上的访问许可与法律上的处理基础,需要分别确认。

五、任务中获得的信息,不能当然转为其他用途

公平性与目的限制部分将注意力放在个人的合理预期,以及信息后续使用的边界。ICO指出,智能体能够发现一种新用途,并不使该用途自动与原始收集目的相容。对于科学研究,文件也保留了保障措施和具体标准等条件;将开发、测试或改进称为“研究”,不能自动使相关条款适用。主题五——公平性与目的限制

对企业来说,这意味着需要检查记忆和反馈机制。例如,智能体在客服任务中获得的信息,是否会进入长期记忆、被其他智能体调用,或用于改进模型?建议把这些用途与原任务分开审查,确认个人可以合理预期的范围、目的相容性及其他适用条件。“有助于系统变好”本身,不能完成这一判断。

另一个容易忽略的场景,是用任务操作记录训练和评估智能体。ICO讨论了行为克隆、模仿学习及强化学习:所用材料可能包括点击流、应用日志、截图、屏幕录制,以及人与其他智能体的操作记录。这些材料可能揭示个人的行为、习惯和偏好,并记录任务中出现的个人信息。关于代理式AI——开发、训练和评估

例如,企业为训练客服智能体记录员工操作、客户消息和屏幕内容。建议同时审查员工行为数据与客户信息:收集和训练分别服务于什么目的,记录范围是否必要,相关个人获得了哪些信息,以及训练、评估和保留是否具备适当依据。能够复现工作流程,并不能直接证明完整记录人员工作行为符合数据保护要求。

六、从解释一个流程,走向持续控制

这次征集给企业提供了一个具体的准备方向。本评论建议选择一个具体业务流程,覆盖主要执行路径、权限边界、可合理预见的路径变化及异常情形,检验控制措施与合规证据是否有效。一次成功运行的日志可以说明当次处理,但不能代表其他路径也已经受到适当控制。

可以先回答五个问题:

1.

任务与权限:智能体为何需要这些数据和能力,哪些行动需要进一步批准?

2.

数据与用途:信息从哪里来、交给谁、保留多久,是否会被用于另一项任务或系统改进?

3.

角色与依据:谁决定具体处理的目的和方式,每项活动依赖什么合法性基础?

4.

个人的知情与控制:何时提供信息,个人能否拒绝、质疑或纠正相关行动,人工介入能否实际影响结果?

5.

运行证据:发生异常时,能否重建关键处理过程,并据此调整权限、流程或保障措施?

这些问题是依据文件整理的企业实施建议,并非ICO规定的统一验收清单。它们的价值在于,让法务、技术、业务和采购围绕同一个实际流程讨论,而不是各自对“使用了AI”作出笼统判断。

在此基础上,本评论建议把治理安排落实到三个阶段:

1.

事前确定边界:明确处理目的、责任主体、可访问数据、可用工具及权限委派和批准条件,将风险评估结果落实到设计及默认设置中。

2.

事中执行控制:对数据访问、工具调用、权限委派和对外发送实施与风险相适应的限制。当实际处理超出预定范围时,先重新审查处理目的、目的相容性及适用的合法性基础,再根据具体风险和法律要求采取补充告知、操作批准、人工介入等措施;无法确认满足适用条件时,停止相关执行。

3.

事后核验与纠正:保留必要记录,审查异常和再利用情况,处理个人权利请求,并据此调整权限与控制措施。记录本身的内容和保留期限,也需符合数据保护要求。

这是作者依据六个议题提出的治理安排,ICO并未规定统一的三阶段模型。数据保护影响评估(DPIA)应按法定触发条件判断,包括处理是否可能对个人权利和自由产生高风险,而不能仅以“使用了智能体”作为一律必须开展的理由。符合触发条件时,应在开始相关处理之前完成评估。ICO数据保护影响评估指南

在我看来,代理式AI的技术自主性,使实际处理行为更难仅靠预定流程描述清楚;组织仍需依据其对具体处理的实际角色承担责任。控制能力因而要贯穿设计和运行:让自主执行处于明确的处理边界内,在风险需要时介入,并能够验证边界是否持续有效。人工批准的频率应结合风险和适用要求设计,日志则帮助监督与纠正已经发生的处理。两者各有作用,共同支持对动态执行过程的控制和问责。

02 · TRANSLATION

全文翻译


译文说明

本文翻译ICO《就代理式AI征集证据》的专题主页面及全部11个子页面,包含附件A和附件B;征集公告及Citizen Space在线答复问卷不在全文翻译范围内。英文专题原文

本次征集于2026年10月8日启动,截止日期为2026年11月20日。ICO希望收集实践证据,以明确现行数据保护法在代理式AI场景中的适用,并为后续指南提供依据。这份征集文件不是新法规;其中的监管期待与尚在征集证据的问题,应当区别理解。官方征集公告

读者可通过Citizen Space官方答复入口提交回应。ICO可能按回应者的相关偏好全文或摘要公开机构回应;信息公开请求将依适用法律处理。提交前请阅读ICO咨询与调查隐私说明。

译文保留must、should、may等词在具体语境中的不同语气;相应规范用语的加粗沿用英文原页。中文术语选择及图旁中文标签由译者处理。两处图示采用同一幅ICO原图,保留箭头和组件关系,图中文字译文列于图下。ICO图源

主题六中“适当的合法性基础”的链接沿用原文,指向ICO的特殊类别数据专页;该链接指向是英文来源本身的情况。请以ICO官网英文原文及其更新为准。

ICO就代理式AI(Agentic AI)征集证据

我们已启动证据征集,就组织如何管理代理式AI的数据保护风险,征求开发者、部署者及其他专家的意见。

引言

代理式AI(agentic artificial intelligence,简称Agentic AI)有潜力显著提高英国经济各领域的运营效率。它可能通过以下方式实现这一点:

•

自动化工作流;

•

执行任务;以及

•

共享数据。

我们希望支持负责任的创新,并为组织提供更清晰的监管指引。为此,我们正在征集证据,以帮助我们思考如何将数据保护法适用于代理式AI特有的能力和风险。

代理式AI的新颖性、动态性和分布式特征,引出了有关数据保护合规的重要问题。英国各地的组织正在努力理解这些问题,以及在实践中应如何应对。

除了关注英国及国际上的发展,我们还通过发布本次证据征集来应对这一挑战。我们此前已就以下方面发布全面指南:

•

人工智能与数据保护;

•

解释利用人工智能作出的决定;

•

生成式人工智能;以及

•

基础模型。

因此,本次征集聚焦于在代理式AI背景下可能属于新问题,或可能以不同方式出现的问题。

本次证据征集建立在以下工作基础之上:

•

我们在2025年夏季参与数字监管合作论坛(DRCF)内部关于代理式AI的深入研究时提供的意见;

•

DRCF意见征集的发布;

•

我们于2026年1月发布的《技术未来》报告;以及

•

2026年3月发布的DRCF前瞻研究文件。

我们目前还在研究代理式AI在广告技术生态系统中的应用,并将于今年晚些时候就此发布报告。

我们正在收集的证据可以帮助我们:

•

制定指南,使组织更清楚地了解其监管义务;以及

•

支持组织负责任地开发和部署代理式AI。

随着技术及其用途不断演进,我们将持续审查这些指南。

这些证据还将:

•

为我们关于人工智能和自动化决策(ADM)的法定实务守则提供依据;以及

•

为我们在机构战略中确立的促进人工智能信任与透明度这一优先事项作出贡献。

本次证据征集面向谁?

本次征集面向所有希望在遵守数据保护法的同时利用代理式AI优势的人士。我们也欢迎法律和技术专家作出回应,其见解可以帮助澄清如何以合规、可信的方式开发和部署代理式AI系统。

本次证据征集涵盖哪些内容?

前文提及的广泛人工智能指南,涵盖了我们对人工智能的一般监管期待。本次征集聚焦于若干具体合规领域:研究以及与利益相关方的讨论表明,这些领域存在重要关切。各节分别阐述我们目前对合规挑战的认识和理解,并提出我们希望回应者回答的关键问题。

下列主题并非穷尽列举。我们也欢迎就制定代理式AI指南时应优先考虑的其他问题提出意见。

本次征集聚焦以下主题:

•

主题一:数据安全

•

主题二:透明度

•

主题三:问责性

•

主题四:自动化决策

•

主题五:公平性与目的限制

•

主题六:处理的合法性

我们希望获得哪类证据?

我们希望获得以下方面的证据:

•

组织使用或开发代理式AI工具,与上述数据保护挑战之间有何关联;

•

组织目前如何应对这些挑战;以及

•

组织希望我们提供哪些进一步的指导和支持。

我们希望获得以下方面的最佳实践证据:

•

措施;

•

工具;

•

流程;以及

•

政策干预。

我们认识到,仅靠政策无法应对代理式AI带来的许多挑战。这些挑战还需要治理、组织和技术层面的解决方案。


关于代理式AI

•

什么是AI智能体(AI agent)?什么是代理式AI(Agentic AI)?

•

代理式AI有哪些新特点?

•

新兴的代理式AI生态系统是什么样的?

•

第一层:服务与集成

•

第二层:代理式AI系统

•

第三层:AI智能体

什么是AI智能体(AI agent)?什么是代理式AI(Agentic AI)?

AI智能体(AI agent)是一种基于大语言模型(LLM)的系统,可以访问工具、记忆和环境(例如用户计算机上的文件夹,或用于了解日期和时间的计算机日历及时钟),并在完成任务的方法上具有一定程度的自主性。

在执行任务时,智能体可以利用任何可获得的信息(包括个人信息)来指导或驱动其行动。无论这些信息是由智能体保存在本地(例如设备上),还是通过远程交互予以披露或访问(例如向第三方网站请求数据),均无区别。人或其他智能体都可以设定任务。

我们认为,代理式AI系统(Agentic AI system)是包含一个或多个AI智能体的任何计算系统。

有关此处所用术语的更多信息,请参见附件B中的术语表。

代理式AI有哪些新特点?

代理式AI系统可能在完成任务的不同环节处理个人信息。它们可能:

•

从内部和外部来源收集或检索个人信息;

•

分析这些信息,或生成有关个人的新信息;

•

与其他智能体、工具或第三方共享这些信息;以及

•

利用这些信息作出决定或采取行动。

如果这些活动涉及处理个人信息,则可能属于数据保护法的适用范围以及我们的监管职责范围。

代理式AI工作流和流程通常将生成式人工智能模型与其他工具、系统和协议相结合。

我们现有的监管期待继续适用于这些工作流中的个人信息处理。我们已在对生成式人工智能咨询的回应以及范围更广的人工智能与数据保护系列指南中阐明这些期待。

与以往的人工智能系统相比,代理式AI系统处理个人信息的规模更大,方式也更复杂。智能体可能:

•

选择并使用内部或外部工具;

•

访问不同的信息来源;

•

向第三方披露个人信息;或

•

无需人在每个步骤予以批准,即采取进一步行动。

其选择可能影响信息处理是否符合以下要求:

•

数据最小化;

•

目的限制;

•

准确性;

•

公平性;以及

•

安全性。

智能体每次执行任务时,信息处理也可能不同。即使目的保持不变,智能体也可能选择不同的:

•

工具;

•

信息来源;或

•

接收方。

例如,在不同时间回应类似旅行请求的智能体,可能访问不同的信息来源,并向不同的服务提供者披露个人信息。

如果没有适当的保障措施,智能体系统可能带来数据最小化和数据安全风险。例如,它可能使用超出完成任务所必需范围的个人信息,或向未经授权的第三方披露特殊类别个人信息。

智能体系统也可能将任务的部分内容委派给多个同时运行的智能体(“编排”)。这可以提高信息处理效率。但它也可能使不准确的信息、推断或偏见迅速沿数据处理链传播,并影响后续决定或行动。它还可能使组织更难了解:

•

系统使用了哪些个人信息;

•

为什么使用这些信息;

•

系统将这些信息发送到了哪里;以及

•

组织应承担哪些相关合规义务。

这些特点可能使组织更难确保并证明其信息处理符合数据保护法。

新兴的代理式AI生态系统是什么样的?

代理式AI系统并不存在一种单一、统一的设计。提供者和组织以不同方式组合模型、智能体、工具和数据来源。不过,在这些系统如何处理个人信息,以及组织如何管理相关风险和合规问题方面,正在形成一些共同模式。为解释这些模式,我们将生态系统分为三个层次:

1.

服务与集成层:涉及组织如何开发、提供、获取和集成代理式AI服务。

2.

代理式AI系统层:涉及使智能体能够接收指令、访问数据、使用工具和执行任务的组件。

3.

AI智能体层:涉及单个智能体的配置、训练、评估和使用方式。

这些层次之间的责任边界并不总是清晰。一个组织可能承担多种角色,而一个工作流中也可能涉及多个组织。组织应当根据其对个人信息处理所作的决定,评估自身的角色和责任。组织不应仅依赖其对自身的描述(即将自身称为“数据控制者”或“数据处理者”)。

第一层:服务与集成

组织以不同方式提供和集成代理式AI服务。这会影响谁对个人信息处理作出决定,以及谁负责遵守数据保护法。

例如,提供者可能提供一个平台,通过结合对下列资源的访问,帮助组织构建和运行AI智能体:

•

基础模型;

•

用于协调智能体行动的工具;

•

计算资源;以及

•

与其他软件或数据来源的连接。

Salesforce的Agentforce就是一个例子。它允许组织为特定任务配置AI智能体。同时,它依赖第三方基础模型,例如Anthropic的Claude。

其他提供者可能在基础模型开发者与使用其模型的组织之间提供服务。这些服务可以帮助组织针对特定用途调整智能体,例如:

•

处理客户服务请求;

•

安排会议;或

•

更新业务记录。

组织可以获取完整的代理式AI服务、开发自己的系统,或将外部服务与内部开发相结合。

表1列出了可能参与这一层的主要群体,并描述其典型角色和活动。它并不确定一个组织是否属于“控制者”“共同控制者”或“处理者”。组织有责任根据具体的信息处理活动及其背景,评估并确定自身角色。

参与者典型角色典型活动
基础模型或生成式人工智能开发者开发支持代理式AI系统的核心模型,例如大语言模型。可能:
• 设计和训练模型;
• 微调和评估模型;
• 评估数据保护风险;
• 实施模型安全措施;以及
• 向链条下游的参与者提供模型供其使用。
代理式AI服务提供者为基础模型或生成式人工智能模型增加智能体能力。服务提供者和模型开发者可能是同一个组织。可能:
• 托管模型;
• 提供界面或应用程序接口(API);
• 协调智能体和工作流;
• 提供记忆及工具使用功能;
• 提供计算资源;
• 评估数据保护风险;以及
• 将智能体连接至外部工具。
获取代理式AI系统的组织为满足组织需要而获取代理式AI系统。可能:
• 识别和选择提供者;
• 商定合同和条款;
• 评估数据保护风险;
• 确定获授权的用途;以及
• 制定适当的政策和监督安排。
内部开发者和集成方构建代理式AI应用,或将其集成到组织的系统和工作流中。可能:
• 设计工作流;
• 将人工智能服务连接至内部系统;
• 确定智能体与工具之间的数据流;
• 设置和调整访问控制;以及
• 实施组织政策和保障措施。
智能体工具提供者为智能体提供使用工具的途径的任何实体(例如通过模型上下文协议〔MCP〕或智能体间通信协议〔A2A〕等协议)。可能:
• 开发和维护工具及连接,使代理式AI系统能够与其服务或数据交互;
• 确定访问权限、身份验证要求和使用限制;
• 记录工具或访问途径应如何使用;
• 实施安全措施和监测;以及
• 应对未经授权的访问、非预期行动或滥用产生的风险。
最终用户以个人或职业身份与代理式AI系统交互。他们可能提供自己的个人信息,或有关其他人的信息。可能:
• 向系统提供提示词、任务或指令;
• 提供对数据和工具的访问;
• 审查或批准行动;以及
• 解读系统输出,或根据系统输出采取行动。

第二层:代理式AI系统

代理式AI系统汇集智能体完成下列活动所需的组件:

•

理解目标;

•

规划如何实现目标;以及

•

采取行动。

代理式AI系统结构图

代理式AI系统结构图

图中文字:最终用户域;更广泛的生态系统;用户指令/提示词;环境;智能体;大语言模型(LLM);规划与推理;记忆;内部工具;协议(例如MCP);应用程序接口(API);外部工具;代理式AI系统。

图1提供了代理式AI系统的高层次示例。它展示的组件包括:

•

主要作为AI智能体输入的组件(例如最终用户提示词、智能体的环境);

•

智能体可以用来辅助处理信息的组件(大语言模型、主记忆和本地工具,例如文件存储或用户的浏览器);以及

•

可能位于远程、但会与智能体交互的组件(例如通过MCP或A2A等智能体协议访问的工具,或通过非智能体应用程序接口访问的工具)。

代理式AI系统中常见组件的完整列表见附件A。更多定义见附件B中的术语表。

智能体结构

代理式AI系统可以使用单个智能体,也可以使用多个协同工作的智能体。实现多个智能体协同工作的两种新兴方式是子智能体和智能体团队。

子智能体专门代表一个负责协调编排的智能体执行特定任务。它可能从主智能体接收相关信息、完成任务,并返回结果或摘要。子智能体可能与负责协调编排的智能体在同一会话或上下文中运行。

智能体团队由彼此独立、分工协作的智能体组成。它们可能具有各自独立的上下文、工具或权限,并可能与以下对象通信:

•

彼此;

•

负责协调编排的智能体;或

•

最终用户。

需要考虑的数据保护问题可以包括:

•

每个智能体接收哪些个人信息;

•

为什么接收这些信息;

•

它可以对这些信息做什么;以及

•

其访问这些信息是否为完成任务所必需。

智能体交互与数据共享

智能体可以与最终用户、工具和其他智能体交互。协议和应用程序接口可以使这些交互标准化,并使信息在不同的以下对象之间传递:

•

模型;

•

应用程序;以及

•

服务。

处理可以在本地、远程,或同时结合两种方式进行:

•

本地处理发生在最终用户的设备内,或组织控制的环境中。这可能减少对外信息共享,但组织仍需要考虑该环境中的访问、存储、安全及其他信息处理。

•

远程处理涉及通过网络将数据发送到另一个系统或服务。这可能向服务提供者或其他第三方披露个人信息。该接收方可能为组织处理这些信息,也可能为自身目的处理这些信息,或与其他组织共享这些信息。

第三层:AI智能体

开发者和提供者采用多种方法来配置、调整、训练和评估基于大语言模型的智能体。这些方法有不同目的,使用不同类型的信息。

开发者主要使用文本训练传统大语言模型,但也可能使用展示如何执行任务的信息来训练或评估智能体系统。这可以帮助系统学习如何:

•

规划;

•

使用工具;

•

遵循工作流;以及

•

完成任务。

这一过程中使用的信息可能包括:

•

文本;

•

提示词;

•

用户反馈;

•

系统日志;

•

点击流;

•

屏幕录制;或

•

人或其他智能体采取行动的记录。

这些记录可能包含个人信息,并揭示有关一个人的行为、日常习惯和偏好的细节。

常见训练方法包括以下几种:

•

提示与上下文学习:提示词可以告诉智能体如何行动或完成任务。上下文学习通常不会改变模型的底层特征,因此通常不会在当前交互之外改变模型本身。智能体使用其上下文中可获得的信息作出回应或采取行动。但提示词和辅助材料可能包含个人信息,包括文档、偏好、日常习惯和特定任务的信息。这些信息可能仅在当前交互期间可用,也可能通过日志、记忆或其他功能被系统保留。

•

智能体技能与工作流配置:开发者和部署者可能为智能体配置特定的技能、工作流或任务模板。这些内容可以包括指令、辅助文档、智能体可以执行的代码,以及与工具的连接。用于配置工作流的信息可能包括岗位职责描述、任务历史、组织流程或汇报关系。这可能涉及个人信息,尤其是在工作流适配特定员工、客户或其他用户的情况下。

•

行为克隆与模仿学习:智能体可能从人、系统或其他智能体如何完成任务的示例中学习。这些示例可以是书面指令,也可以是详细的应用程序日志、截图或屏幕录制。这些材料可能记录任务过程中出现的个人信息,例如姓名、消息、账户详情、文件或屏幕上显示的信息。它们还可能揭示一个人的行为或决策方式。

•

强化学习:智能体的表现可能因对其行动和结果的反馈而改善。反馈可能包括用户纠正、评分、工具使用记录,以及有关系统是否成功完成任务的信息。反馈的使用可以发生在实时交互期间,也可以利用此前收集的记录。所涉及的个人信息可能包括与可识别个人关联的用户输入、偏好和交互历史。

评估与监测

开发者和组织可以使用类似的数据来:

•

评估智能体表现;

•

设计工作流;以及

•

监测已部署的系统。

他们可以在以下阶段评估智能体:

•

部署前,使用测试数据集或模拟任务;或

•

部署后,使用真实交互产生的数据。

因此,代理式AI系统可能在整个生命周期中处理个人信息,从初始开发和评估,到部署、监测和改进。


我们希望获得哪些证据?

在开发和部署代理式AI系统时,“通过设计和默认设置保护数据”的方法至关重要。组织必须将数据保护法的要求纳入其中并予以遵守。我们对代理式AI系统的初步分析识别出六个关键领域,在这些领域中,组织采取通过设计和默认设置保护数据的方法时面临挑战。这些正是我们征集证据的主题。

•

主题一:代理式AI中的数据安全问题如何呈现,组织如何应对?

•

主题二:复杂代理式AI供应链中的透明度

•

主题三:代理式AI系统中的责任归属与问责性证明

•

主题四:理解英国GDPR自动化决策条款何时适用于代理式AI,并采取适当保障措施

•

主题五:代理式AI中的公平性与目的限制

•

主题六:代理式AI中个人信息的合法处理


主题一:代理式AI中的数据安全问题如何呈现,组织如何应对?

面临的挑战

英国GDPR的安全原则要求组织以能够确保适当保护水平的方式处理个人信息,防止其遭受:

•

未经授权或违法的处理;

•

意外丢失、毁损或损坏。

正如我们在人工智能与数据保护指南中所述,组织必须采取与其具体数据处理活动所产生的安全风险性质和程度相适应的措施。在传统生成式人工智能系统中,任务通常由最终用户发起。代理式AI工作流引入了以高度自主方式执行的任务,因此带来不同且更大的风险。例如,智能体可能从外部来源检索信息并更新内部数据库,而无需在流程的每一步获得明确批准。这增加了安全失误或恶意指令(例如删除一条记录或整个数据库的指令)在相互连接的系统和数据来源之间传播的风险。

由于代理式AI工作流通常将对内部系统和内部数据库的访问,与外部网站和应用程序接口结合起来,数据安全依赖于严格的权限和控制。这些控制可能涉及以下方面:

•

数据访问;

•

工具使用;

•

第三方软件;以及

•

智能体能够采取的行动。

这些控制需要对最终用户或其他智能体保持透明。

我们的监管期待

开发或部署代理式AI的组织必须评估系统具体能力、连接及数据处理活动产生的安全风险。组织必须实施技术和组织措施,提供与这些风险相适应且成比例的安全水平。

赋予智能体多大程度的自主性,应当是一项有意识且经过审慎考虑的设计和部署决定。组织应当通过安全护栏、权限和批准阈值来支持这一决定,并使其与智能体可能采取的各种数据处理行动所涉及的风险成比例。组织还应当向负责部署、监督或使用系统的人员明确相关控制和限制,并在必要时向与其交互的其他智能体明确这些内容。

智能体安全护栏和控制的新兴方法包括:

•

最小权限访问(最终用户或智能体只能访问其确实需要的内容);

•

范围明确且适当的权限;

•

工具使用限制;

•

针对高风险行动的人工参与或批准阈值;以及

•

对个人信息访问的限制,包括敏感信息。

这些措施属于标准安全实践。但代理式AI系统要求以新的方式应用它们。例如,措施现在可能需要约束智能体对系统的访问、对工具的使用,以及其采取的任何行动。

如果没有明确的方法识别AI智能体何时正在运行,组织就无法确定需要哪些安全护栏和控制设置来适当管理其使用。因此,代理式AI部署者可能需要:

•

首先识别或登记智能体;

•

将其与一个所有者及用途关联起来;以及

•

应用访问政策,对数据和智能体的使用加以限制和界定。

需要注意的是,智能体身份可能需要提供比传统软件身份更多的信息。它可能需要涵盖智能体的以下方面:

•

所有者及预定用途;

•

能力及可用工具;

•

权限和批准阈值;

•

部署和运行环境;

•

与其他智能体及系统的关系;以及

•

当前任务、会话或经委派取得的权限。

我们还看到,智能体系统可以通过对其能够访问的网站施加具体限制来运行,以此降低安全风险。我们希望了解这些措施在实践中的效率,以及利益相关方通常如何评估安全风险。

我们征集证据的方面

我们希望获得有关以下方面的证据:

•

确保会话内的数据仅能由特定主体访问的会话隔离控制(例如发起会话的用户);

•

组织如何评估,是只允许智能体访问内部知识系统(例如文档库、政策资料库、内网网站),还是允许其访问第三方知识系统或数据库;

•

安全护栏和权限控制是否动态变化,以及如何变化;

•

将AI智能体身份与智能体行动(例如数据检索、数据库条目修改)一并记录的结构化日志措施、结果跟踪,以及能够显示是否遭到篡改的记录;以及

•

代理式AI系统提供者内置的哪些系统配置或功能能有效支持数据安全,以及部署者认为在哪些方面难以确保有效的数据安全。


主题二:复杂代理式AI供应链中的透明度

面临的挑战

我们现有的指南解释了透明原则如何适用于生成式人工智能和基础模型。代理式AI系统在执行任务时,可以从广泛的来源收集个人信息。例如,智能体可能:

•

访问个人设备上的信息;

•

从组织系统中检索数据;

•

截取屏幕画面;或

•

通过外部工具和在线服务获取信息。

智能体在采取行动时,也可以使用或披露这些信息。它们可能与以下对象共享个人信息:

•

其他智能体;

•

服务提供者;或

•

第三方。

它们还可以创建或修改文件、发送电子邮件,或进行购买。智能体每次执行任务时,数据来源、工具和接收方都可能改变。

这可能使人们难以了解:

•

智能体正在处理哪些个人信息;

•

信息来自哪里;

•

智能体为什么需要这些信息;

•

信息处理是在个人设备上进行,还是在远程进行;

•

哪些智能体、工具和组织接收这些信息;

•

这些信息被用来指导哪些决定或行动;

•

信息处理是否涉及自动化决策;以及

•

谁对这些处理负责。

在多智能体系统中,这些挑战可能更大。在工作流的不同阶段,个人信息可以在智能体、工具和组织之间流动。如果组织无法识别所涉及的智能体,或追踪它们如何使用和共享个人信息,就可能难以向人们提供有实质意义的信息。

我们的监管期待

我们现有的透明度期待继续适用。组织必须向人们提供清晰、易于获取的信息,说明组织如何处理他们的个人信息。我们关于生成式人工智能透明度的指南提供了更多信息。

组织必须从一开始就将透明度纳入代理式AI系统的设计。组织应当识别、记录并传达以下方面:

•

智能体可以访问的个人信息;

•

智能体可以使用这些信息的目的;

•

智能体可以获取这些信息的来源;

•

处理在本地还是远程进行;

•

可能接收这些信息的智能体、工具和第三方;

•

智能体获授权作出的决定和采取的行动;以及

•

谁负责信息处理的每个阶段。

组织必须确保人们在适当的时间获得有关组织将如何处理其个人信息的相关信息。在代理式AI系统中,组织应当考虑,在智能体开始任务之前向用户提供的一般性解释,是否足以实现有实质意义的透明度。在以下情况下,这一问题尤为突出:

•

信息处理的性质可能在任务过程中改变;或

•

智能体可能访问新的数据来源、使用新的工具,或提出具有重大后果的行动。

在这种情况下,组织应当考虑:

•

提供进一步的信息;或

•

在行动发生之前,请最终用户批准该行动。

这一方法可能包括在用户体验中增加额外的“阻力”,以确保用户意识到智能体对其个人信息带来的新风险。适当的提示、通知和批准步骤,可以帮助人们理解处理过程,并对智能体的行动行使有实质意义的控制。组织在决定需要采取哪些措施时,必须考虑智能体可能采取的行动的风险及后果。

另外,当智能体访问存储在个人设备上的信息,或在其设备上存储信息时,可能适用《2003年隐私与电子通信条例》(PECR)规定的法律义务。例如,如果使用代理式AI导致在个人设备上存储信息,或访问存储在设备上的信息,组织必须按照PECR第6条,对此类存储或访问的目的提供清晰、全面的信息。

组织还必须在整个供应链中实施适当的技术和组织措施。根据具体情况,这些措施可能包括:

•

识别所涉及的智能体、其运行位置以及谁对其负责(智能体识别);

•

验证智能体仅与获授权的智能体、工具和服务交互(智能体身份验证);

•

确定并执行对智能体能够访问的个人信息和能够采取的行动的限制(范围明确的权限);

•

记录个人信息如何在智能体、工具及其他组件之间流动(智能体追踪);

•

记录哪个智能体采取了某项行动、其使用的数据和工具,以及结果(审计日志);以及

•

在适当情况下,允许人们审查、批准、质疑、纠正或撤销行动(用户控制)。

其中一些措施帮助组织了解并解释系统如何处理个人信息。另一些措施(例如身份验证、权限设置和日志记录)则支持监督、问责性和治理。它们共同能够帮助组织向人们提供有实质意义的信息,并证明遵守了数据保护法。

我们征集证据的方面

我们希望获得有关以下方面的证据:

•

组织目前如何说明,其是在个人设备上、远程环境中,还是结合两种方式处理个人信息;

•

当智能体进行以下活动时,组织如何及时向人们提供信息:

•

访问新的数据来源;

•

使用外部工具;或

•

与另一个智能体或组织共享个人信息;

•

组织如何利用预先授权、提示、批准步骤、实时状态指示,或其他技术或方法提高透明度;

•

组织如何允许最终用户对智能体可用的网站、工具、数据来源和行动设置限制;

•

任务执行后的摘要和审计轨迹如何说明:

•

智能体做了什么;

•

使用了哪些个人信息;

•

涉及哪些工具和接收方;以及

•

因此产生了什么结果;

•

人们如何质疑、纠正或撤销智能体的行动;

•

智能体识别、身份验证、权限和追踪如何支持面向个人的透明度;以及

•

当个人信息在多智能体系统的智能体之间流动时,组织如何提供有实质意义的透明度。


主题三:代理式AI系统中的责任归属与问责性证明

面临的挑战

代理式AI系统可能涉及多个组织、模型、智能体和工具。当智能体采取行动时,个人信息可能在这些组件之间流动,所涉及的组织也可能因工作流而改变。这可能使识别谁决定每项处理活动的目的和方式变得困难。继而,这使区分数据控制者、共同控制者和数据处理者,以及确保形成适当记录,变得困难。

我们的监管期待

我们于2024年阐明了对生成式人工智能模型问责性的期待。在该次咨询中,我们解释了关于数据处理方式和目的的总体决定,如何影响控制者身份的认定。这包括考虑谁对处理个人信息的原因和方式作出总体决定。

代理式AI引入了其他可能影响数据处理目的和方式的考虑因素,包括但不限于:

•

谁决定智能体所追求的目标;

•

智能体可以访问哪些个人信息;

•

它可以选择哪些模型和工具;

•

它可以使用哪些协议;

•

它具有哪些权限;以及

•

它可以采取哪些行动。

一些代理式AI开发者提出,他们仅对以下活动属于控制者:

•

代理式AI系统的初始开发;以及

•

与系统维护和安全有关的处理。

但是,组织应当广义理解控制者概念,以确保对个人提供全面、有效的保护。组织如果决定通过代理式AI系统进行的个人信息处理的目的和方式,或对这些目的和方式施加足够影响,就可能是该数据处理的控制者。

在生成式人工智能中,数据的类型、来源和类别可能实质性影响模型在部署期间如何处理这些数据。在代理式AI中,关于协议、权限和访问控制的决定,可能对处理方式产生更大的影响。

我们征集证据的方面

我们希望获得有关以下方面的证据:

•

组织如何在代理式AI系统中分配控制者、共同控制者和处理者的责任;

•

组织如何在实践中及其合同中体现责任分配;

•

组织采用哪些机制对AI智能体的行动(包括数据访问)进行日志记录、追踪和监测,以确保控制者对服务于其所设定目的的数据处理保有控制,并承担相应问责义务;

•

代理式AI系统开发者向部署这些系统的组织提供哪些信息,说明系统如何运行、如何处理个人信息,以及使用过程中可能出现哪些风险,从而帮助部署组织证明其数据保护合规;以及

•

开发者应当提供哪些信息,以明确控制者和处理者的责任。


主题四:理解英国GDPR自动化决策条款何时适用于代理式AI,并采取适当保障措施

面临的挑战

组织可能将代理式AI系统用于具有以下特点的决策流程:

•

对个人产生重大影响;以及

•

几乎没有或完全没有有实质意义的人工参与。

AI智能体可以在工作流的多个阶段自主采取行动,因此可能出现这种情况。为实现目标,智能体可能作出多个影响最终结果的决定。根据具体情况,这可能落入自动化决策条款(英国GDPR第22A—22D条)的适用范围。

一个特别的挑战涉及用于多阶段决策的代理式AI系统:最终决定可能由完全自动化、部分自动化和人工决定共同形成。然而,在工作流某一阶段有人工参与,并不必然意味着整体决定不属于自动化决策条款的适用范围。关键问题在于,该参与是否具有实质意义。

我们的监管期待

在有关个人的决策流程中使用代理式AI的组织,必须评估自动化决策条款是否以及如何适用于整个工作流。仅孤立地考虑单个智能体或决策节点是不够的。但是,仅凭代理式AI系统参与了决策流程这一事实,本身并不意味着自动化决策条款适用。

我们已经发布自动化决策与画像指南草案。该指南解释,要使人工参与具有实质意义,参与形成决定的人应当:

•

在适当的环节评估和审查决定,以确保对结果产生实际影响;

•

具有影响结果的能力;

•

具有改变决定的裁量权和权限;

•

接受适当培训并具备适当资质,以理解系统的逻辑、输出、局限和风险;以及

•

考虑系统作出决定所依据的相关数据和因素。

组织应当:

•

能够提出理由,论证自动化决策条款为什么不适用于其具体情境;或

•

落实该法规要求的所有适当保障措施。

这意味着,组织应当采取措施,确保在智能体出现非预期行为时,可以理解并重建决策过程,包括:

•

涉及哪个智能体;

•

其在何种授权下运行;

•

它访问了哪些系统或数据;以及

•

是否存在有实质意义的人工参与。

在多阶段决策背景下,这些措施更为重要。

在自动化决策背景下,日志记录可以帮助组织识别:

•

构成最终决定的哪些决定是完全自动化的;

•

是否存在有实质意义的人工参与;以及

•

自动化流程和人工流程分别在多大程度上影响了最终对个人产生影响的决定或结果。

使用代理式AI的组织应当采取类似措施。这应当包括:确保在以下时点设置人工参与和升级处理机制,以便能够论证自动化决策条款为什么不适用:

•

任何多阶段决策中的关键时点;以及

•

将一项重大决定应用于个人之前。

组织可以利用技术控制和用户界面:

•

限制智能体可以采取的行动;或

•

要求在执行某些行动之前获得人工批准。

在评估一项决定是否涉及有实质意义的人工参与时,这些安排可能与之相关。

组织应当考虑,在实践中,人们是否实行真正的监督,并能在作出决定之前进行批判性评估、影响结果。这不同于在完全自动化决定作出后请求人工干预的权利。该权利属于适用于自动化决策的保障措施的一部分。

我们征集证据的方面

我们希望获得有关以下方面的证据:

•

组织如何判断自动化决策条款是否适用;

•

在组织判断自动化决策条款不适用的情况下,如何确保代理式AI系统中的人工参与具有实质意义;

•

在代理式AI背景下使用自动化决策的组织,如何应用相关保障措施;

•

技术日志记录和审计机制如何通过提高透明度和增强问责性,支持合规的多阶段自动化决策;以及

•

组织如何利用权限设置和用户界面设计,支持遵守自动化决策条款。


主题五:代理式AI中的公平性与目的限制

面临的挑战

数据保护的公平性原则要求组织:

•

仅以人们可以合理预期的方式处理个人信息;以及

•

不以任何可能对个人产生无正当理由的不利影响的方式使用这些信息。

代理式AI系统使用生态系统内的各种个人信息来源(包括通过实时交互和记忆获取的信息)。另一个涉及个人信息使用的场景,是使用以人们执行计算机任务时产生的数据训练的模型。这可能包括详细的行为数据,例如:

•

人们采取的行动;

•

采取这些行动的顺序;

•

作出的选择;以及

•

与不同系统交互的方式。

根据内容和背景,这些数据可能揭示有关个人的敏感个人信息。它们还可能导致以个人无法合理预期的方式使用这些信息,或对个人产生无正当理由的不利影响。

数据保护法中的目的限制原则要求组织:

•

清楚、公开地说明其为什么处理个人信息;以及

•

确保其拟对这些信息进行的使用符合个人的合理预期。

当代理式AI涉及用户或部署者未逐一指定的中间行动时,会产生独特挑战。它还可能保留或重复使用在某项任务中接触到的信息,以支持另一项当前或未来的任务。智能体能够识别个人信息的新用途,并不意味着该用途自动与收集这些信息的原始目的相容。

智能体的自主性并不改变这一事实:处理个人信息的组织仍负有公平性和目的限制义务。

我们的监管期待

我们对代理式AI系统公平性的期待,与人工智能公平性详细指南中阐述的期待相同。组织必须:

•

评估个人是否可以合理预期,其个人信息会以特定方式被使用;以及

•

识别整个智能体生态系统中的信息处理可能产生的任何不利影响。

在此评估中,组织应当考虑:

•

数据的性质和敏感程度;

•

最初获取数据的方式;

•

智能体的自主程度;

•

数据处理的后果;以及

•

个人可以获得的保障措施。

我们于2024年就生成式人工智能中的目的限制进行了咨询,相关结论在这一背景下也具有参考意义。

但我们从利益相关方处了解到,当智能体为完成任务而自主地为一个起初并未明确说明的次级目的处理信息时,会产生问题。组织只有在以下情况下,才可以为新目的重复使用个人信息:

•

新目的与原始目的相容;或

•

法律另有允许。

例如,在采取适当保障措施的前提下,出于科学研究目的进一步处理数据,被明确视为与任何原始目的相容。但是,仅将代理式AI系统的开发、测试或改进称为“研究”,并不自动意味着科学研究条款适用。要依赖这些条款,拟进行的信息处理必须符合科学研究的具体标准,例如:

•

采用严谨的方法;以及

•

以增加更广泛的知识积累为目标。

它不能仅用于内部的商业产品开发。希望依赖相关条款的组织,应当查阅我们的研究指南草案。

我们征集证据的方面

我们希望获得有关以下方面的证据:

•

组织评估新处理目的是否相容的实例,包括相容和不相容的情况;

•

支持遵守目的限制和公平性原则的安全护栏和控制措施;以及

•

对智能体行动、数据访问和工具交互的监测,以及其他能够降低以下风险的保障措施:AI智能体将个人信息用于尚未经过适当评估和授权的目的。


主题六:代理式AI中个人信息的合法处理

面临的挑战

代理式AI在开发和部署的整个生命周期中,可能涉及多项相互关联的个人信息处理活动。这些活动可能包括:

•

训练或调整模型;

•

理解最终用户指令;

•

访问最终用户设备上的信息;

•

从其他系统中检索信息;以及

•

与其他智能体或第三方共享信息。

这可能使为每项活动确定适当的合法性基础变得困难。

例如,涉及在最终用户设备上存储信息(或访问已存储信息)的活动,受PECR规定的具体法律要求约束。这些规则禁止此类存储或访问,除非:

•

存在适用的例外;或

•

订户或用户已给予同意。

因此,组织需要考虑是否有其他法律适用于其数据处理,尤其是在这可能影响处理个人信息的合法性基础时。在代理式AI背景下,智能体可以动态选择工具、数据来源或行动,组织可能更难:

•

提供透明的信息;

•

评估用户的合理预期;以及

•

确定某一合法性基础是否可用且适当。

与最终用户存在合同(即服务条款),或用户向智能体发出指令,并不自动为随后进行的所有处理提供合法性基础。例如,合同这一合法性基础,仅在数据处理对于提供个人所请求的服务而言客观上属于必要时适用。智能体工作流的不同阶段可能需要不同的合法性基础,而适用于工作流某一部分的合法性基础,并不必然适用于其他所有部分。

我们的监管期待

组织必须为处理个人信息确定适当的合法性基础。这取决于该处理的具体情况,尤其是其目的,以及组织与信息所涉及个人之间关系的性质。没有任何一个合法性基础天然比另一个“更好”或更重要。但是,根据处理的性质和背景,并非所有合法性基础都可用或适当。

以同意作为数据处理合法性基础的组织(无论是因为同意在具体情况下最为适当,还是因为PECR等其他法律要求同意),必须确保其取得的任何同意均为有效同意。这一要求的门槛很高。同意必须是:

•

自由给予的;

•

知情的;

•

具体的;

•

明确无歧义的;以及

•

可以随时撤回的。

正当利益(legitimate interests)可能作为某些代理式AI信息处理活动的合法性基础。正如我们关于基础模型的报告所述,这尤其适用于训练作为编排器使用的大语言模型(orchestrator LLMs)。但是,组织不得假定这一合法性基础默认适用。只有在已进行正当利益评估(LIA)的情况下,组织才可以依赖这一基础。

我们征集证据的方面

我们希望获得有关以下方面的证据:

•

组织为代理式AI开发和部署所涉及的不同处理活动使用哪些合法性基础;

•

组织在为其代理式AI处理确定适当合法性基础时,面临哪些挑战;

•

哪些分析或评估支持组织选择某一合法性基础的决定;以及

•

组织如何对代理式AI数据处理开展正当利益评估,包括训练或调整编排器模型。


补充问题

我们的次级职责(secondary duties)包括支持负责任的创新和经济增长。因此,我们希望获得以下方面的证据:

•

组织当前采用代理式AI的情况及未来采用计划;

•

这些组织预期实现的收益;以及

•

它们面临的任何障碍或成本。

我们正在收集的信息可以帮助我们了解:

•

代理式AI在实践中如何发展;

•

数据保护考虑因素在部署决定中发挥什么作用;以及

•

未来任何监管干预可能产生哪些成本和收益。

这一过程有助于确保,有关数据保护结果,以及对组织和创新的更广泛影响的证据,都能为未来的任何指南提供依据。

1.

以下哪项最能描述贵组织当前及预期对代理式AI的使用情况?请在每一列中选择一个选项。

当前状况未来12个月内的预期状况
目前没有采用计划
正在探索潜在应用场景
试点或概念验证
有限部署
广泛部署

请描述当前或计划中的任何代理式AI用途,包括:

•

所涉及的业务职能或活动;

•

用途是内部使用、面向客户,还是两者兼有;以及

•

其支持的决定、行动或工作流类型。

2.

以下问题在多大程度上构成了开发、获取或部署代理式AI系统的障碍?

不构成障碍轻微障碍中等障碍重大障碍
数据保护要求缺乏监管确定性
安全方面的担忧
技术限制
组织能力和技能
实施成本
合规保障措施的成本
供应商保障或尽职调查方面的挑战
其他(请说明)

请解释您认为构成中等或重大障碍的任何因素。

3.

贵组织是否因为数据保护要求方面的不确定性,推迟或放弃了部署代理式AI的计划?

•

是

•

否

•

不确定或不知道

如果回答“是”,请解释您的回答。

4.

在缺乏专门针对代理式AI的监管指南时,贵组织通过何种方式获得对其使用符合数据保护要求的确信?(可多选)

•

内部法律意见

•

数据保护官(DPO)审查

•

数据保护影响评估(DPIA)

•

现有ICO指南

•

外部法律意见

•

外部咨询支持

•

供应商保证

•

行业标准或框架

•

第三方治理或保障解决方案

•

其他(请说明)

请解释您的回答。

5.

数据保护要求方面的不确定性,是否以及在多大程度上影响贵组织关于是否开发、获取或部署代理式AI,以及如何开展这些活动的决定?

•

完全不影响

•

影响较小

•

影响中等

•

影响较大

6.

如适用,在开发、获取或部署代理式AI时,您遇到了哪些主要的数据保护挑战、不确定性或困难,而更高的监管确定性可能有助于解决这些问题?

7.

贵组织已经从部署代理式AI中获得哪些收益,或预期获得哪些收益?(可多选)

•

生产力提升

•

成本节约

•

流程或服务交付加快

•

服务质量改善

•

决策改善

•

客户体验改善

•

其他(请说明)

请提供示例,并尽可能提供有关已实现或预期收益的任何证据或估计。


附件A:智能体组件

代理式AI系统结构图

代理式AI系统结构图

图中文字:最终用户域;更广泛的生态系统;用户指令/提示词;环境;智能体;大语言模型(LLM);规划与推理;记忆;内部工具;协议(例如MCP);应用程序接口(API);外部工具;代理式AI系统。

•

工具:独立于大语言模型、但智能体可以用来完成任务的任何软件。例如,工具可能使智能体能够:

•

搜索信息;

•

访问数据库;

•

发送消息;

•

进行付款;或

•

更新记录。

•

工具使用:智能体访问工具的过程,有时称为“工具调用”。系统可以在本地访问工具,也可以通过应用程序接口或智能体协议(例如A2A、MCP)远程访问工具。工具使用可能通过以下方式涉及个人信息处理:

•

收集;

•

检索;

•

修改;

•

披露;或

•

删除。

组织应当了解:

•

每个工具可以访问哪些信息;

•

可以采取哪些行动;以及

•

谁接收这些信息。

•

记忆:使系统能够保留并使用过去交互中的信息。这可能包括此前的:

•

提示词

•

任务

•

偏好

•

输出

•

行动

记忆可能包含最终用户或其他人的个人信息。根据其设计,系统可能仅在单次会话期间保留这些信息,也可能保留更长时间。系统还可能在智能体之间共享记忆,或利用记忆指导未来行动。

•

规划或编排:组件协调工作流的过程。它们可能:

•

分配计算资源;

•

将一个目标拆分为更小的任务;

•

选择智能体、模型、数据来源或工具;

•

监测进度;

•

收集输出;以及

•

记录表现信息。

这些功能可能影响:

•

系统使用哪些个人信息;

•

将其发送到哪里;以及

•

保留多长时间。

•

用户界面:使最终用户能够:

•

发出指令;

•

提供信息;

•

监测进度;以及

•

审查或批准行动。

它可以采取以下形式:

•

聊天界面;

•

应用程序;

•

助手;或

•

嵌入另一项服务的功能。

界面设计可能影响用户获得的信息处理详情,以及其对智能体行动的控制程度。

•

环境:智能体可以使用的信息和功能。这可以包括:

•

存储在记忆中的数据;

•

最终用户上传的内容;

•

从数据库检索或通过检索增强生成获取的信息;

•

工具或其他智能体的输出;

•

互联网浏览器;或

•

操作系统及其文件和应用程序。

•

钩子:在智能体运行的特定阶段执行命令。例如,钩子可能:

•

记录行动;

•

在使用工具之前检查上下文;或

•

阻止存在安全风险的行动。

钩子可以通过提供监测、访问控制和审计功能来支持合规。但它们也可能处理个人信息,包括:

•

提示词;

•

输出;以及

•

智能体行动的记录。

•

插件:增加智能体可以使用的功能。它们可能包含:

•

指令;

•

工作流;

•

可以运行的代码;

•

工具连接;以及

•

钩子。

它们可以扩大智能体对个人信息的访问,以及其采取行动的能力。因此,组织在向智能体提供插件之前,应当评估其来源及可追溯性、权限和数据流。

•

协议:提供智能体连接工具、服务和其他智能体的标准方式。示例包括MCP、A2A和支付协议。协议可以让智能体访问更广泛的数据和功能。一些协议还可能支持身份、身份验证或支付凭证。但是,使用标准协议这一事实本身,并不能确保由此产生的数据处理是安全的,或符合数据保护法。


附件B:术语表

•

智能体身份:一个唯一标识符及一组相关特征,使系统内的某个AI智能体能够与其他智能体区分开来。这使其行动、权限和通信可以被追踪,并归属于该智能体。

•

智能体团队:多个基于大语言模型的智能体,彼此独立地工作,以完成同一个目标。一个“团队负责人”智能体(通常是主要面向用户的智能体)协调这些智能体,但它们具有各自独立的面向用户的会话、上下文窗口、工具集合及其他要素。与子智能体不同,智能体团队的成员可以彼此共享信息,用户也可以在每个成员各自的会话中直接与其交互。

•

智能体间通信协议(Agent2Agent Protocol,A2A):使基于大语言模型的智能体之间的通信标准化的协议。无论底层智能体框架或提供者是什么,它都使智能体能够在不同系统或环境之间交换信息、委派任务、共享结果并协调行动。

•

代理式AI(Agentic AI):由一个或多个智能体组成的任何计算系统。

•

智能体协议:使大语言模型与软件应用程序(包括其他大语言模型)之间的通信标准化的协议。所涉及的大语言模型必须接受如何使用这些协议的训练,方式可以是监督微调,也可以是上下文学习。

•

AI智能体(AI agent):一种基于大语言模型的系统,可以访问工具、记忆和环境,并在利用这些内容完成任务时具有一定程度的自主性。智能体的目标取决于具体背景。用户或信息所涉及的个人可以指定这些目标。目标也可能是智能体为实现总体目标而自行设定的中间目标。

•

应用程序接口(Application Programming Interface,API):软件应用程序彼此通信,并交换数据或功能的标准化方式。

•

环境:基于大语言模型的智能体可以收集或以其他方式处理的数据。这可以包括:

•

来自智能体记忆的数据(过去交互中的数据,例如讨论主题;这可能是用户或第三方的个人信息);

•

用户上传的任何内容(例如文档、图像、视频);或

•

检索到的信息(作为检索增强生成的一部分,或工具调用的输出)。

对于可以代表用户采取行动的智能体,其环境可能包括互联网浏览器(例如,智能体可以在其中点击按钮、填写表单),或整个操作系统(例如,智能体可以在其中创建或删除文件、运行应用程序)。

•

模仿学习或行为克隆:用于训练智能体的强化学习策略模型的一种技术。在这种技术中,输入来自人的示范(由领域专家或非专家标注人员提供)。示范可以是人撰写摘要(展示如何概括文档),也可以是适当使用应用程序接口,或计算机、浏览器使用过程的截图等。

•

上下文学习:一种技术,人通过明确提供有关模型输出应是什么的指令,提示模型以某种方式行动或执行某项任务。

•

模型上下文协议(Model Context Protocol,MCP):提供一种标准化方式,使大语言模型及基于大语言模型的智能体能够连接外部工具、数据来源和服务,并与之交互的协议。

•

编排器:负责更大范围的代理式AI系统中信息流(“数据处理”)的子系统。例如,它可能:

•

管理数据和计算资源;

•

跟踪实现目标的进度;

•

处理对系统其他组件(例如大语言模型、工具、记忆)的程序化调用;以及

•

收集表现指标。

编排器可以是用户定义的一组指令(一系列明确规定每个执行步骤的代码指令),也可以是专门的编排框架(一个代码库及相关工具,可能由一个独立的编排大语言模型驱动)。

•

强化学习(RL):一种机器学习(ML)模式,智能体通过与环境交互来学习执行任务。基于奖励(告诉智能体任务成功或失败的反馈),智能体学习一种强化学习策略(一个根据给定情境确定最可能行动的函数)。在大语言模型背景下,强化学习主要用于“对齐”训练。这涉及基于人类反馈的强化学习,奖励取决于人是否更偏好模型的某个回答,而非另一个回答。对于基于大语言模型的智能体,强化学习用于训练充当强化学习策略模型的大语言模型,预测最可能的下一步行动。

•

会话:用户与人工智能系统之间,或AI智能体之间的一段有边界的交互,其中上下文、状态或数据可以在一次或多次交流中保持。“会话隔离”是指防止与某个会话有关的数据被未经授权的用户、智能体或其他会话访问的控制措施。

•

子智能体:一种不面向用户、基于大语言模型且专门执行特定任务的智能体(例如阅读合同、探索代码仓库)。主要面向用户的智能体启动子智能体。但子智能体具有自己的上下文窗口、系统提示词和工具集合(合称为“后台会话”,在主要面向用户的会话中无法直接看到),并能够独立于主智能体工作。子智能体完成任务后,会将其行动和结果的摘要返回主用户会话。

•

监督微调:一种机器学习方法,用于将预训练的基础大语言模型适配到特定任务。在这一背景下,训练数据经过仔细选择(通常由人工标注),针对特定任务,且质量高于预训练数据。

•

工具:不属于大语言模型的一部分,但大语言模型可以使用的任何软件。“工具使用”或“工具调用”是访问工具的过程,可以直接进行(在与智能体编排器相同的脚本中定义,或通过操作系统命令调用),也可以通过应用程序接口或MCP、A2A等智能体协议远程进行。


END

我是朱玲凤。

如果你觉得今天这篇有收获,欢迎点赞、在看、转发三连,我们下篇见。