法律 AI 评测合同审核 · Agent 横评

法律 AI 评测

六款 AI Agent 审三份合同:哪一份 Word 敢交给业务?

本文与会员完整报告、原始 Word 测试包的范围不同;文中活动时间以原稿当时为准。

昨晚的直播里,我们公布了 6 款 AI Agent 审核 3 份合同的测试结果。

18 次运行采用同一套权限、同一法律查询 MCP、同一参考合同模板库和同一 Word 交付要求。每一款 Agent 都要读取原始 DOCX,自行检索、判断和修改,并在原文中留下 Word 原生修订与批注。直播中的百分制,用来观察任务理解、工具与资料使用、风险识别、Word 可用性以及结果的可验证、可控制程度。

本期测试对象、输入、过程、验收与结论边界

图:本期比较的是端到端交付,不是脱离工具和工作流的“裸模型”能力。

这套分数可以说明一款 Agent 能否把任务从材料读取一路跑到可审阅的 Word,却不能直接回答法律人最关心的问题:这份 Word 是否已经达到可以进入业务谈判的程度。

原因并不复杂。直播评分中,风险识别占 25 分,工具与资料使用、Word 交付合计占 40 分。这一结构适合观察 Agent 的端到端执行能力,却不符合真实法律交付的责任逻辑。一款 Agent 可以因为检索充分、文档完整、修订规范而取得不错的分数,同时漏掉一个足以让交易目标落空的关键问题。对律师或法务来说,这个遗漏无法由其他项目的得分抵消。

直播结束后,我们重新打开了 18 份修订稿和配套 assumptions,按照法律专家审核一份合同的方式再看一遍。重新评估时逐项检查:立场是否站对,事实是否厘清,关键风险是否覆盖,理由能否成立,解决方案能否执行,哪些事项必须由人确认并承担责任。

这一次,我们想公布的是分数之后的第二层结果:当 18 份 Word 真正摆到律师或法务面前,哪些已经形成可以继续工作的法律底稿,哪些仍然必须被拦下来?

如果你想进一步对照完整证据,可以扫描下方二维码加入“法律 AI 工作台群”,领取《法律 AI 监测与实测报告 No.01|合同审核 Agent》、本期测试方法与判断框架,以及 3 份可以直接复跑的脱敏测试样本合同。

扫描二维码加入法律AI工作台群

三类合同任务及其业务目标

图:三项任务分别检验上市窗口、猎头采购价值和外包用工与结算三种法律判断结构。

一、先把直播分数放回正确的位置

直播公布的结果如下。这里的分数应当理解为“本期端到端执行观察分”,同一任务内可以比较,不宜跨任务求平均,也不能直接当作法律可交付排名。

Agent S1 市场推广 S2 猎头采购 S3 客户运营外包
WorkBuddy 88 99 98
Claude 88 99 84
Codex 85 81 89
豆包 92 99 98
千问 85 87 91
DeepSeek 67 90 79

本轮三项任务的端到端执行结果

图:同一题内比较端到端交付,跨题不求平均,也不排总名次。

从法律专家的视角看,一份合同审核结果能否进入真实工作,至少要连续通过六个节点。

第一,委托识别。它要知道代表谁、交易目标是什么、谈判地位如何。第二,事实识别。它要区分合同已经写明的内容、附件是否完整、外部事实是否确认,以及哪些内容只是自己的假设。第三,风险识别。它要找到影响履约、经营、监管、责任和退出的关键问题。第四,依据与论证。它要解释风险为什么成立,依据来自哪一处条款、哪一项事实或哪一条法律规则。第五,策略转化。它要把风险变成可执行、可谈判的条款,并说明必须坚持、可以交换和需要升级决定的事项。第六,责任闭环。它要明确由谁补事实、谁确定商业参数、谁接受残余风险、谁最终批准和签发。

因此,法律交付应当采用两层评价。第一层观察 Agent 是否能够读材料、调用工具、修改 Word 并形成完整输出;第二层设置不可被平均掉的法律闸门,包括立场错误、关键事实混淆、critical issue 漏检、解决方案没有写入合同、依据不可追溯以及越过人的决策权限。第一层描述能力剖面,第二层决定这份结果能不能向前流转。

100分法律交付质量卡及运行资源记录

图:质量得分与耗时、Token、工具调用等运行资源分开记录。

critical风险法律闸门

图:发现问题却没有把保护写进合同,不能算作 critical 已完成。

下面三份合同,正好展示了为什么这两层不能混在一起。

二、市场推广合同:真正要保护的,是窗口关闭前的控制权

第一份合同中,我们代表谈判地位较弱的甲方。项目是智能手表新品发布,合同总价 78 万元。甲方最重要的目标具体到一个不可移动的结果:新品必须在 2026 年 10 月 15 日,按照指定媒体和 KOL 节奏完成发布。

原合同看上去已经有上市日、媒体名单、发布时间和保密义务,但把正文和附件放在一起,发布控制链并没有真正建立起来。

附件二将 IT 之家和太平洋科技的发布窗口写成“上市日±1日”,字面上允许媒体在 10 月 14 日提前发布。正文第 8.4 条又要求 KOL 在“统一解禁时间”前不得发布,但合同并没有定义统一解禁时间。第 5.2 条只要求核心媒体无法发布时在“上线日前”说明原因,即使乙方到 10 月 14 日才告知版位没有锁定,也可能形式上没有违约,甲方却已经来不及安排替代。第 4.4 条还允许因甲方反馈延迟而“等期顺延”,没有把不可移动的上市节点排除在外。

在这类合同中,增加几条违约责任并不等于完成保护。法律专家要检查的是:Agent 是否围绕“指定时间、指定渠道首发”构造了一条事前控制链。

1. 实际 Word 中,完整的处理长什么样

Claude 在这份 Word 中新增了“上市日”和“解禁时间”的定义,将上市日固定为 2026 年 10 月 15 日,将统一解禁时间固定为当天 9:00,并明确任何媒体、KOL 和产品信息不得提前上线或披露。它把附件中的“上市日±1日”改成“上市日或上市日+1日”,保留晚发一天的现实弹性,同时封住提前发布的口子。

对于版位风险,它要求乙方不迟于上市日前五个工作日,逐一确认 8 家核心媒体的锁位状态,未锁定的同时提供替代方案。对于甲方反馈迟延,它将顺延范围限制在受影响的单项交付,明确不得导致核心媒体上市日发布和首发节点延后。对于 KOL 降档,它发现原条款使用“粉丝量、互动量及报价均显著低于”的表述,只有三项同时下降才需要甲方同意,于是将“均”改为“任一项”。

更关键的一步,是新增替代履行机制。关键节点逾期并经 24 小时催告仍未完成时,甲方可以自行或委托第三方完成,乙方必须移交已经锁定的媒体版位、资源确认和付款凭证。这样,甲方在发布窗口彻底关闭以前仍有机会把执行权拿回来。

这些修改之所以有法律交付价值,不只因为文字更严密。相关批注同时解释了“±1日”为何会击穿统一解禁,五日前锁位为何是窗口关闭前的预警抓手,以及替代履行为何比事后索赔更能保护新品首发。配套 assumptions 又把真实解禁时间、媒体和 KOL 的实际锁定状态、国庆假期排期、平台费用和内容使用范围交回业务确认。

市场推广合同的实际Word条款级证据

图:节选自 Claude 实际 Word 修订稿,橙色下划线为修订内容;不是依据演示 PPT 重制的示意条款。

WorkBuddy 采取了另一种路径。它把输出组织成更接近谈判工作底稿的形态,明确哪些属于必须守住的发布控制,哪些属于可以交换的商业条件,并提出错过上市窗口、上市前泄密等情形的违约金建议值与退让线。这种分层有助于下一轮谈判,但其中 30%、20% 或其他比例只是 Agent 给出的谈判参数,不能自动成为公司的风险底线,仍需结合甲方弱势地位、损失证明能力和对方接受度由人决定。

2. 本合同的法律专家评测卡

评价节点 本题必须看到的内容
委托与立场 始终代表弱势甲方,优先保护 10 月 15 日在指定渠道首发,而非对合同作平均化“全面优化”
事实与缺口 区分合同写明的上市日与尚未确认的真实解禁时刻、媒体锁位、KOL 档期、假期安排和内部反馈能力
关键风险 “上市日±1日”与统一解禁冲突;锁位预警过晚;甲方反馈可能导致整体顺延;事后救济无法挽回首发窗口
解决方案 定义解禁时间、禁止提前发布、提前锁位与替代资源、限制顺延、窗口前替代履行,并处理责任后果
人工接管 由业务确认真实排期和资源状态;由法务与业务负责人决定违约金、责任上限和可接受退让;签发前复核引用依据
交付结论 只有上述保护形成闭环,才可作为谈判底稿;仅提示“应明确发布时间”或只提高违约金,不足以通过

这一题说明,风险数量只能作为辅助观察。Codex 在直播记录中发现的问题数量更多,Claude 发现的数量并非最高,但 Claude 在几个决定交易目标的节点上把事实、风险、条款、谈判理由和人工确认连得更完整。法律专家最终判断这条链能否真正保护首发,批注栏里的数量无法替代这一结论。

三、猎头服务合同:要把“服务价值”写成付款、替换和退款机制

第二份合同中,我们代表猎头服务购买方。甲方预算有限,真正要控制的是费用是否与实际服务价值匹配,而不只是把费率从 22% 谈到 18% 或 20%。

原第 4.1 条在候选人接受 Offer 时即触发 50% 服务费;候选人因个人原因未入职时,该笔款项不退,只能抵扣后续职位。原第 3.1 条对“有效推荐”的门槛较低,叠加宽泛的关联方范围、较长保护期和终止后的长尾条款,可能形成大范围收费权。保证条款内部还存在直接冲突:第 7.2 条将候选人主动离职作为保证责任触发条件,第 7.6 条又将健康、家庭、深造、创业等个人原因主动离职排除在保证责任之外。加上“免费替补”为唯一救济、替补失败只给未来抵扣而不退现金,甲方可能在人没有稳定到岗、替补没有完成时,已经失去现金救济。

一份真正能交给采购或 HR 继续谈的审核,需要把这些分散条款重组成一条“实际价值—付款—保证—补救”的机制。

1. 实际 Word 中,风险如何被转化为机制

Claude 将首期费用的触发点从“接受 Offer”后移到候选人实际办理入职并开始提供劳动或服务,剩余 50% 在保证期届满且候选人仍然在职时产生;没有实际入职的,不产生服务费,已经支付的款项应退还。

它同时重构了保证责任。候选人在保证期内离职原则上触发保障,仅保留因甲方违法解除、未足额支付薪酬、未缴纳社保等由甲方造成的例外;甲方可以在免费替补与现金退款之间作出选择,并按照在职时间设置阶梯退款。替补未在 45 日内完成时,乙方应转为现金退款,不能只给未来抵扣。为了避免收费从其他条款重新出现,它还同步收窄有效推荐、关联方、职位范围和保护期。

WorkBuddy 将第 7.2 条和第 7.6 条的冲突标为本题的极高风险,并把“实际入职—阶段付款—保证期—替补或退款—替补失败现金退费”组织成清晰的谈判路径。它还进一步要求猎头对候选人的身份、教育、近期工作经历和竞业限制进行与服务能力相匹配的专业核查。

其他 Agent 也不同程度识别了 Offer 阶段收费、保证期和替补机制的问题。本题整体执行分较高,说明这些风险相对显性。可问题被识别以后,仍要检查各个收费出口是否同步关闭。只把付款后移,却保留过宽的有效推荐、关联方和长尾保护;或者发现第 7.2 条与第 7.6 条冲突,却没有建立现金退款路径,都会让原有风险从另一处重新出现。

猎头采购合同中的实际Word救济条款

图:节选自 Claude 实际 Word 修订稿;付款触发、保证责任、替补期限与现金退款来自同一份产出。

2. 本合同的法律专家评测卡

评价节点 本题必须看到的内容
委托与立场 代表预算有限的采购方,审查目标是让费用与实际入职、在职稳定和服务结果匹配
事实与缺口 年度招聘预算、预计职位数量、已有候选人库、员工内推记录、猎头资质、是否使用境外 ATS 均未由合同自动证明
关键风险 Offer 阶段付款且不退;有效推荐与关联方范围过宽;保护期和终止长尾形成收费外溢;保证责任内部冲突;替补失败无现金退款
解决方案 实际入职后付款、保证期后支付尾款、替换或现金退款选择、替补超期转为现金退费,并同步收窄收费出口
人工接管 HR、采购与法务共同确认费率、保证期、退款比例、年度封顶和替补周期;核验资质、候选人来源记录及数据处理路径
交付结论 能把费用与实际服务价值绑定并形成可执行救济,才可进入谈判;只写“费用偏高、建议调整”仍停留在风险提示

这份合同进一步说明,解决方案不能停在一句“条款对甲方不利”。法律交付需要回答甲方在什么时点付款,候选人离职时可以选择什么救济,替补没有完成时怎样拿回现金,以及哪些数字必须由有权限的人决定。

四、客户运营外包合同:最危险的输出,往往已经写得很专业

第三份合同中,我们代表购买客户运营支持服务的乙方。项目配置为 18 名全职服务人员,其中不少于 6 名驻场,覆盖 9:00—21:00、节假日轮值及重大客诉 7×24 小时升级响应。

本题首先要判断,名义上的服务外包会不会在实际条款和履行方式中变成对人员的直接使用与管理,从而增加违法派遣或事实用工风险。

原第 2.3 条允许乙方参与人员面谈确认,直接向驻场服务人员下达工作任务,确认班次和完成情况,并由甲方根据乙方反馈实施绩效、排班和人员调整。这些内容将对人员的劳动管理权推向采购方。紧邻的第 2.4 条又规定,因乙方减少人员、要求人员退出或提前终止服务造成的人员安置、经济补偿和待岗成本,由乙方承担。这一条既转嫁了服务商作为用人单位的成本,也进一步强化了乙方决定人员去留的外观。第 5.1 条接近按人数计价,第 12.1 条虽然写着“不建立劳动关系”,却缺少工牌、邮箱、考勤、绩效、福利和社保核验等行为隔离。

这份合同给出了本轮最重要的失败证据。

1. Claude 的输出为什么专业,却仍然要被拦下

Claude 对第 2.3 条的处理很成熟。它把直接管理改成“对事不对人”:乙方只通过甲方项目负责人提出业务需求、优先级和服务标准,具体人员的任务分配、排班、考勤、培训、绩效和奖惩由甲方自主决定。它还新增第 12.4 条,要求服务人员使用甲方工牌和工作邮箱,不纳入乙方考勤、绩效、评优和福利体系;甲方应提供社保缴纳汇总证明,并对项目被认定为劳务派遣或事实用工所造成的损失承担责任。

从论证、批注和条款表达看,这已经很接近资深法律人员的工作底稿。问题在于,它没有直接修改紧邻的第 2.4 条。需要同时说明的是,Claude 在第 16.2 条另行把无理由终止场景下的人员安置补偿限制为“实际发生且有凭证”,并设置一个月固定服务费上限。这是有效的部分修复,但并没有覆盖第 2.4 条关于减少人员、要求人员退出项目等全部触发场景。

于是,同一份 Word 里仍然存在一个断裂:第 2.3 条努力证明乙方不直接管理人员,第 12.4 条建立行为隔离,第 16.2 条又对一类退出责任设置上限;但第 2.4 条仍然保留“乙方减少人员、要求人员退出并承担安置、经济补偿、待岗成本”的安排。相邻条款之间没有完全对齐,仍会影响人员管理权外观、其他触发场景下的成本边界和退出责任。

在直播的百分制中,Claude 仍然可以凭借其他维度得到 84 分;在法律交付中,这份 Word 仍应触发补审闸门。把第 2.4 条与第 16.2 条的适用范围、责任上限及人员退出权重新对齐以前,不宜直接放行给业务谈判。这个例子也说明,高质量表达有时会增加风险,因为阅读者看到大量正确、专业的内容后,更容易降低对相邻遗漏的警惕。

客户运营外包合同的实际Word风险闭环证据

图:节选自 Claude 实际 Word 修订稿。第 2.3 条与第 12.4 条已修改,第 2.4 条未直接修改,第 16.2 条仅形成部分限制。

2. 对照其他实际输出,闭环应该怎样建立

WorkBuddy 同时处理了第 2.3 条和第 2.4 条。它将业务要求统一通过服务商项目负责人传递,补充工牌、邮箱、考勤、员工活动和福利等行为隔离;对于人员减少产生的成本,没有简单全部删除,而是在双方地位相对均衡的前提下保留有限补偿,同时要求服务商先减损、仅凭实际发生的有效凭证结算,并设置单人两个月服务费的上限。它还把基础服务费解释为服务成果、SLA 和业务量区间的对价,人员数量只是服务商自主投入,从计价方式上补强外包属性。

豆包也同步修改了两处。第 2.3 条改为由服务商项目负责人负责人员管理;第 2.4 条将乙方可能承担的成本限定在其违反明确通知期或最低服务期限,并且该成本应当不可避免、实际发生且有证据,同时排除服务商依法应当承担的工资、社保等用工成本。它在 Word 原生修订和批注上的完成度,也说明办公型 Agent 已经可以比较成熟地承担文档执行。

千问和 Codex 在本题中也处理了第 2.3 条与第 2.4 条,并补充了外包边界或用工责任。DeepSeek能够识别直接管理和人员安置成本问题,但仍需继续检查行为隔离、计价方式、重新定性责任和实际运营核验是否完整。

3. 本合同的法律专家评测卡

评价节点 本题必须看到的内容
委托与立场 代表采购方乙方,在保证服务质量的同时避免直接取得和行使对个人的劳动管理权
事实与缺口 合同不能证明实际运营;必须确认谁发指令、排班、考勤、评价、替换、发薪缴社保,人员使用何种工牌、邮箱和系统权限
关键风险 第 2.3 条直接管理;第 2.4 条人员退出与用工成本转嫁;按人头计价;仅有关系声明而无行为隔离;重新定性后的责任不足
解决方案 “对事不对人”的指令链、服务商独立用工管理、工牌邮箱考勤等隔离、成果/SLA 计价、人员退出成本限缩、重新定性赔偿与核验权
人工接管 业务与 HR 必须确认实际运营方式能够执行合同隔离;财务确认计价与成本上限;法务审核责任上限、社保证据和争议处理机制
交付结论 同一风险链上的相邻条款必须全部闭环;即使核心条款写得很好,第 2.4 条与第 16.2 条未完全对齐,仍应补审后再放行

本题揭示了法律 AI 使用中最值得警惕的一种情况:AI 已经会做大量正确的事情,输出也足够专业、完整和可读,因此人更容易相信它。真正有效的人工监督不能是“快速通读一遍”,而应围绕本合同预先定义的 critical issue 逐项核对。

五、重新看六款 Agent:能力剖面比永久排名更有意义

18 份 Word 展示的是不同 Agent 在本轮任务、版本和权限条件下的工作方式,不能外推为长期不变的产品排名。更有价值的结论是,它们分别适合被放到法律流程的什么位置,以及需要怎样的人工接管。

Agent 本轮较突出的能力 进入真实工作前的主要闸门
Claude 风险、依据、修订和谈判理由之间的论证链较完整,能够形成高质量法律底稿 不能因论证专业而跳过相邻 critical 条款复核;事实与商业参数仍需人工确认
WorkBuddy 条款覆盖、谈判分层、建议值、退让线和待办组织较完整,更接近下一轮谈判工作底稿 建议值和底线不得由 Agent 自动决定;修改较多时需压缩优先级,避免谈判过载
豆包 原生 Word 修订和批注稳定,文档层执行已经具备较高可用性 Word 做得完整不代表法律判断完成,仍需按合同专属 critical 清单复核
Codex 检索和修改覆盖广,能够调用较复杂的工具链 检索数量、Token 和批注密度不能代替关键问题排序;需判断每次检索是否真正改变结论和条款
千问 修改相对克制,部分任务能减少不必要的全面重写 克制成立的前提是决定性风险已经覆盖;需重点查漏项和责任闭环
DeepSeek 能识别部分核心问题,并主动披露知识与证据边界 免责声明不能替代复杂风险覆盖;本轮更适合作为初步问题线索,不能直接进入正式谈判

本期测试最值得保留的经验

图:高分、工具调用和 Word 结构通过,都不能单独证明法律交付已经成立。

这里真正有用的结论,是某一款 Agent 在某类任务上可以承担到哪一步。一个产品适合做文档执行,不代表可以独立完成风险取舍;一个产品能够形成很好的论证,也不代表可以跳过 critical issue 核验;一个产品调用了大量法源,也不代表其检索已经转化为对客户有用的条款。

六、人工监督必须具体到每一份合同

“最终由律师复核”过于笼统。真实的人机协同需要把人工接管点直接写进任务和交付标准中。

合同 必须由人确认的事实 必须由人作出的决定 交付前必须复核的 critical 链
市场推广 真实解禁时间、媒体和 KOL 锁位、假期排期、内部反馈能力 违约金、责任上限、可退让事项和替代履行范围 定义—禁止提前—提前预警—替代资源—窗口前救济
猎头采购 招聘预算、职位数量、候选人来源记录、猎头资质、ATS 与数据路径 费率、保证期、退款比例、年度封顶和替补周期 有效推荐—收费触发—保证责任—替换/退款—长尾与关联方
客户运营外包 实际指令、排班、考勤、绩效、替换、工资社保、工牌邮箱、系统权限 人员减少成本、计价方式、责任上限和退出方案 管理权—行为隔离—计价—人员退出—重新定性责任—实际履行

AI可以帮助法律人读取、比对、检索、穷举问题、起草多套条款并留下过程记录;业务人员对真实交易事实和商业目标负责;法务或律师对法律定性、风险优先级、谈判取舍和最终签发负责。系统还需要记录谁复核了哪些 issue、依据是什么、补改了什么、接受了哪些残余风险以及谁最终批准。缺少这些具体记录,“人工在环”很容易退化成一句免责表述。

七、这也是法律 AI 监测真正应该交付的东西

现在并不缺法律 AI 产品新闻。某个 Agent 支持 Word,某个模型增加联网检索,某个 Skill 发布了新版本,这些变化很快就能被看到。法律人真正耗费时间的是后续判断:它适合哪类任务,应当给什么材料和权限,怎样测试才不会被漂亮输出误导,对一份具体合同哪些问题绝对不能漏,什么情况下可以继续使用,什么情况下必须阻断并交给人。

因此,我们把本次直播测评整理成《法律 AI 监测报告 No.01|合同审核 Agent》。报告不会只重复分数,而会把三份合同分别配套到法律专家的真实评价标准中,包括:

  1. 三份可直接复跑的脱敏合同样本,以及写明代表立场、业务目标、输入、权限和交付要求的任务卡;
  2. 统一运行规程,帮助测试者冻结材料、版本、工具和输出,避免不同环境造成伪比较;
  3. 每份合同专属的事实缺口、critical issue、最低可接受解决方案和人工接管点;
  4. 18 份实际 Word 的条款级证据索引,展示风险有没有真正写进正文,是否从相邻条款重新出现;
  5. 端到端执行观察与法律交付闸门两套表单,以及个人复跑、人工复核和使用分级方法。

拿到报告以后,可以先不看我们的产品结论,把同一份合同和任务卡交给自己正在使用的 Agent。完成后再对照合同专属评测卡,检查它是否站对立场、区分事实与假设、覆盖 critical、形成可谈判的解决方案,并把必须由人决定的事项交了回来。

最终得到的是一套能够反复使用的判断方法,也比一张很快过期的排行榜更有价值。

第一期法律AI监测的最终结论

加入法律 AI 工作台群

扫描下方二维码加入群聊,即可获得:

  • 第一期《法律 AI 监测与实测报告|合同审核 Agent》;
  • 本期测试方法与判断框架;
  • 3 份可以直接复跑的脱敏测试样本合同。

扫描二维码加入法律AI工作台群

下一场实测预告

9 月 6 日(周日)19:30|开源合同审核 Skill 横向评测

评审完不同 Agent 能把合同审核做到哪一步,下一步就要把变量继续拆开:当 Agent 使用不同的开源合同审核 Skill,风险识别、依据论证、条款修改和人工接管会出现什么差异?

拿到就会测,会测就能用。

返回全部评测文章