LIVE EVALUATION

一份看起来完整的报告,离一份合格的DPIA,可能还差事实、证据和责任交接。

过去几天,我们把几类真实业务材料交给六个公开可获取的DPIA Skill,想看看它们能把一项数据合规评估推进到什么程度。

这件事源于上一场直播。我们从产品PRD入手,搭出事实表、追问、待办、风险和报告之间的流程。系统跑起来后,专业判断的问题随之出现:材料还缺哪些关键事实,当前是否需要完整DPIA,计划中的措施能否计入风险评价,最后由谁决定是否上线。

一份格式齐全的报告,很容易给人“评估已经完成”的印象。实际工作中,事实状态、分析边界和责任交接更值得检查。

本期选了六个DPIA Skill、五道业务题,保存了26次有效运行。文章先介绍生态、测试方法和评价标准,具体结果留到9月16日19:30的直播。

本文看点

01

看六份Skill档案

02

看五题怎样测试

03

直播揭晓得失分


01

LANDSCAPE

先看生态:名字接近,工作差别很大

我们在GitHub、公开Skill目录以及法律和隐私工具入口中进行多语言检索,使用了DPIA、PIA、DSFA、AIPD、RIPD、PIPIA及中文相关名称。

检索台账共有178个入口,涉及97个仓库标识。其中47个入口已有正文核对记录,分布在40个仓库。本期从中选择六个Skill或套件进入实测,另设一个宿主参照。

研究层次数量统计含义
检索台账178个入口包含直接候选、同族模块、目录收录、相邻工具和待核验线索
仓库标识97个一个仓库可能包含多个入口
正文核对47个入口、40个仓库已取得可读文本证据,核对深度并不完全相同
本期实测6个Skill或套件,另加1个宿主参照用于观察不同工作方法,不代表从全部入口中排出的六强

47个已核对入口中,38个主要用于评估、筛查或报告组织,3个用于审查已有清单或报告。余下6个分别承担组织访谈、政策监测、处理活动登记、方法选择、模板路由和应用专用骨架。

这个分布说明,DPIA相关工具的任务边界很散。名称里出现PIA或DPIA,可能指完整起草,也可能只处理前置访谈或某个地区模板。选工具前,需要先确定自己要完成哪一段工作。

40个仓库的GitHub关注数合计为73,112,中位数只有5;前三个大型仓库贡献了93.3%的关注。生态热度集中在少数综合技能库,无法直接说明某个DPIA模块的质量。

维护数据也需要按仓库层理解。近30天有推送的仓库为18个,近90天为31个。仓库更新可能来自其他模块,无法据此判断DPIA路径是否刚刚维护。

许可证分布同样分散:MIT 13个、Apache-2.0 12个、EUPL-1.2 2个、NOASSERTION 8个,另有5个未识别。个别模块的许可字段与仓库根许可证还存在差异。

本文沿用“开源DPIA Skill”这一便于传播的说法,研究记录则使用“公开可获取的Skill或套件”。公开可获取并不自动带来复制、修改、再分发或商业嵌入的权利,实际采用前仍需核对具体版本、模块声明和依赖。

— DPIA开源生态数据概览


02

SKILL FILES

六份Skill档案

以下简介根据本次测试时保存的公开源码整理,写的是各项目为自己设定的工作方式。它们能否在真实材料中兑现这些设计,要看后面的同题测试。

SKILL 1DPIA Sentinel|DPIA专用流程

来自 lawve-ai/awesome-legal-skills,源码署名Oliver Schmidt-Prietz。它把任务分成门槛判断、完整评估、具体法律问题和文档输出,并根据控制者与数据主体所在地加载相应法域材料。完整路径涵盖处理说明、必要性与比例性、风险、措施、剩余风险和后续咨询。

SKILL 2Claude for Legal隐私套件|从组织背景进入评估

来自 anthropics/claude-for-legal。这是一套组合流程,包含组织配置、冷启动访谈、用例筛查和PIA生成。它会先了解企业的业务、政策、DPA和既有文档习惯,再向产品团队补充取证,按照组织格式形成评估和签批条件。

SKILL 3Smerphy|通用隐私评估与报告框架

来自 smerphy/cyber-grc-agent-skills。它先收集处理活动、数据、群体、法律依据、接收方、跨境、技术和控制措施等事实,再完成筛查、系统描述、必要性分析、个人风险、措施和决定。项目还提供独立的监管适用性模块,可与DPIA入口配合。

SKILL 4Borghei|门槛检查与风险登记工具

来自 borghei/Claude-Skills,源码标注实验用途。它计划先澄清少量关键问题,再选择快速门槛、完整DPIA或AI系统路径。配套脚本负责门槛检查、风险登记、措施记录和剩余风险汇总,结构化工具是它比较鲜明的特点。

SKILL 5Lexbeam|强调边界管理的AI DPIA流程

来自 lexbeam-software/eu-ai-governance-plugin。它面向含AI因素的数据处理,覆盖DPIA触发、处理描述、必要性与比例性、个人风险、措施、升级和DPO参与。遇到决定性事实缺失时,它允许给出暂定判断并列出待补事实,同时保留可以继续推进的分析,还能衔接AI Act相关评估。

SKILL 6Mukul|GDPR流程型指引

来自 mukul975/Privacy-Data-Protection-Skills。它以GDPR第35条为主线,从触发条件、处理描述、必要性与比例性一路走到风险缓解、DPO参与和持续复评,并给出分阶段的时间安排。整体更接近一份可执行的DPIA流程指南。

本期另设一个宿主参照,用来观察没有指定上述候选时,通用工作环境可以完成到什么程度。它在运行中调用过相邻合规Skill,因此不作为第七个独立候选。


03

TEST CASES

五道题,分别卡住DPIA的不同环节

场景材料中的处理活动主要观察点
电池健康云端服务欧洲车辆数据持续上传中国云端,用于评级、告警、售后和研发能否重建处理链,处理多目的、跨境、长期留存和事实缺口
维修预约提醒三家德国门店收集姓名、邮箱、门店和预约时间,发送确认与提醒能否作出合比例的筛查,同时保留普通合规义务
记账应用遥测收集随机实例ID、功能点击和设备信息,部分控制尚未验证能否区分DPIA门槛、遥测启用条件和应用发布决定
员工安全徽章每三秒记录员工位置并关联排班名册,用于安全告警和事故调查能否分析持续监测、目的漂移、替代设计和员工参与
城市热力图客户只接收聚合结果,供应商保留生成统计所需的底层位置数据能否检查匿名化主张及完整供应链处理

电池题使用原始PRD,材料中保留了业务描述、缺口和相互矛盾之处。预约题风险较低,专门检查工具会不会过度触发完整DPIA。遥测题要求区分几个相邻决定,员工徽章题强调必要性与个人影响,热力图题把最终聚合产品和底层处理放在一起考察。

这些题没有覆盖所有行业,也无法代表每个国家的具体要求。它们的作用是形成几种足够不同的压力,让Skill的工作方式显现出来。

— 五道业务题与测试流程


04

METHOD

测试怎样进行

运行前先固定任务模式。电池健康服务和员工安全徽章按完整评估处理,另外三题按筛查处理。每个候选进入独立任务,加载指定Skill,收到同一版本的材料。首条指令只有一句:

请评估。

候选可以先分析、追问、给出条件性意见或暂停。补充事实由主持人单独保管,只在候选问到时提供;事实库之外统一回答“未确定”。我们没有预先提供标准答案,也没有在运行途中主动补齐信息。测试要观察的正是Skill会追问什么、如何处理未知,以及信息增加后会不会修改判断。

对话结束后,模型消息、工具来源、交付文件和未决事项先被封存,评分材料随后才会打开。五题共形成26个有效任务,其中电池题和预约题各7个,其余三题各4个。25个任务没有发生实质业务问答,只有1个任务取得了多轮补充事实,因此本次对访谈和动态更新能力的观察仍然有限。

各任务的宿主、工具和上下文没有做到完全一致,部分精确模型配置也未完整留档;一项热力图结果还调用了匿名化Skill。本次定位是一项可复跑的探索性比较,还不能当作同模型、同工具、多轮重复的正式基准测试。


05

SCORING

分数怎样使用

评分覆盖任务与事实、法律与比例性、个人风险与风险评价、措施验证、权利参与、治理复评和交付一致性。过程表现另行记录,包括追问、事实更新、有限暂停、模板适配和组织决策交接。

评分最终落到四档使用判断:不可用于任务、仅作风险线索、可作专业底稿、可进入受控试用。重大事实或法律错误不能靠总分抵销;风险方法缺失、模板适用性未经证明,或者AI直接作出上线批准,都会限制产物的使用范围。


06

DPIA STANDARD

合格DPIA的验收线

本期报告把成功定义为:以足够且可追溯的事实完成可靠判断,说明怎样改变设计、如何处置剩余风险,并形成可以决策和持续更新的记录。结论可以是继续、整改、暂停或放弃处理。

GDPR第35(7)条的核心内容包括处理活动说明、必要性与比例性、个人风险和拟采取的措施。本项目据此形成11项验收对象,用于评价实际工作产物,不把它们解释成法律规定的固定表格。

— 合格DPIA的验收框架

·

事实梳理:目的、主体、角色、字段和完整处理链清楚,来源、状态与矛盾可追溯。未知部分不靠推断补齐。

·

最低事实充分性:分别判断筛查、合法性、风险、模板和最终决定所需事实是否具备。筛查完成后,剩余风险仍可能暂不接受。

·

缺口实质性:重要缺口要对应可能变化的结论、所需证据和解除条件。暂停范围限于受影响的判断。

·

DPIA筛查:结合处理活动、法域、监管清单与例外,给出需要、不需要或待确定的理由。个人数据、云服务或新技术本身不会自动触发完整DPIA。

·

合法性与比例性:逐目的分析法律依据、必要范围和替代设计,覆盖权利、角色与传输问题。法律基础缺陷无法由风险低分或加密措施抵销。

·

个人风险:说明处理怎样影响具体个人或群体,覆盖正常使用、误用和失效情形。企业罚款、声誉损失和漏洞清单不能代替个人风险。

·

风险评价:使用一致且可解释的方法,说明措施影响和不确定性。缺少依据的数值不计入有效判断,未知的控制效果继续保持未知。

·

措施与验证:将措施连接到具体风险,写清责任、实施状态、验证标准和失败处置。计划措施可以进入设计评估,不能被写成已经产生的效果。

·

权利与参与:权利流程能够执行,DPO及相关方意见的适用性和当前状态清楚。尚未取得的意见不得写成已经同意。

·

适用模板:核查国家、主管机关、模板来源、版本和适用状态,并按要求输出或完成等效映射。主管机关未确定时,可以先形成欧盟层面的工作稿。

·

决策与复评:组织决定、未决条件、必要咨询和更新触发可以持续追踪。AI形成建议和工作稿,控制者承担最终决定。

这里的“事实充分”按当前决定来判断。持续、可识别的员工监测,可能已经足以支持“需要DPIA”的筛查结论;误报率和控制效果没有验证,会影响完整风险评价及上线决定。两项判断可以处在不同状态。

DPIA发生在处理开始前,因此拟议措施可以进入分析。报告需要写明预期效果、当前实施状态和验证条件。计划中的控制不能直接降低当前剩余风险。

适用模板是本项目设定的交付验收项。法律上仍要区分强制表式、官方推荐和可适配方法。尚未证明满足最终国家或主管机关模板,表示交付证据不足,并不等于工具完全没有模板能力。


07

LIVE REVIEW

直播会把分数放回具体产物中

26次运行产生了聊天意见、文档初评、风险表和多轮工作稿。长度与格式差异很大,单看最终文件很难判断一项工作怎样走到结论。

直播会结合原始过程讲四个阶段:事实判断、DPIA筛查、实质评估和模板交付。具体得失分会回到产物原文;证据不足的分项继续保留争议,尚未观察的能力也会明确标注。

数据合规专家将进一步判断每项成果适合承担什么角色,人工需要从哪个节点接手。这样的结论比一个跨场景总名次更接近实际选型。


08

ITERATION

评测结果也会进入自研迭代

上一场搭出的系统已经能够承接PRD、事实表、追问和待办。本次评测提供了六种外部方法样本,专家审看后,其中可复用的部分会进入下一轮自研。

事实追溯是当前重点。每项重要判断应当能够回到PRD、业务答复或实施证据,避免只保留整理后的结论。项目状态也需要拆开记录,分别处理DPIA筛查、完整评估、上线条件和组织决定。

风险、整改和报告之间还要建立稳定连接。措施需要说明对应风险、责任人、证据和复评条件。这样生成的报告才能承接后续工作,不会在每次修改后重新整理一遍。


09

LIVE

9月16日19:30,全球DPIA评测,专家怎么看

本场主题:

从手搓系统到专家经验AI化:开源Skill评测与自研迭代

嘉宾:Anna、Cece

开发演示:朱玲凤

— 图:9月16日19:30直播预约海报,Cece对谈、朱玲凤演示、Anna专业点评。

本场通过微信视频号直播,可扫描海报右下角二维码预约。

系统跑通了,专业评估还差什么?

承接上一场PRD、事实表、追问与待办演示,现场讨论自动化功能与专业判断的分工。

全球开源DPIA Skill,哪些能用、哪些要人接?

资深律师将审看事实判断、DPIA筛查、实质评估与模板交付,结合原始产物说明能力和使用边界。

好方法怎样变成自己的Skill?

朱玲凤将演示自研开发与借鉴迭代,涉及事实追溯、分阶段判断,以及风险、整改与报告的衔接。

评测结果和专家意见将在直播中公布。


10

REPORT

领取评测报告和测试方法

想查看本期全球DPIA Skill完整评测报告,或学习怎样准备题目、主持问答、保存证据并判断AI可以承担的工作范围,可以添加Cece的企业微信了解。

— 图:扫描二维码添加Cece企业微信。

领取材料包括本期评测报告、测试方法和复跑材料,便于在自己的Skill、模型或工作台中完成一次实际测试。


END

如果这篇评测对你有帮助,欢迎点赞、在看、转发,也别忘了预约9月16日19:30的直播。