核心判断

可靠的法律 Agent 不只需要知识,更需要让知识以正确身份进入任务。

最近看到一篇谈 Agent 与知识库的文章,里面有两个细节让我很有共鸣。

一个细节是,作者在优化 Skill 时,想拿一个历史失败案例说明问题,却发现当时的会话记录没有保存,只能重新补充大量上下文,让 AI 猜测自己究竟想修改什么。另一个细节是,当作者把客户背景、历史沟通和关联信息完整交给 AI 后,AI 才能从几个月的材料中梳理出一条连续轴线,并据此给出更接近实际业务的建议。

这两个场景分别指向 Agent 应用中的两类缺口:前者缺少持续积累的作业反馈,后者缺少完整连续的项目记忆。它们共同说明,当模型能力、工具调用和 Agent 流程逐渐成熟以后,影响作业质量的关键变量正在发生变化。

早期使用 AI 时,我们最关心模型够不够聪明、提示词怎么写、流程如何拆分。等到 Skill、Agent 和运行环境真正进入业务,新的瓶颈会很快出现:Agent 能否获得正确的知识,能否理解这些知识之间的关系,能否在合适的阶段调用合适的内容,以及能否从人工纠正中持续改进。

也正因为如此,法律法规和 Skill 只是起点。法律法规提供外部规范,Skill 提供执行骨架,但二者都不会自动补足具体事项的连续记忆、专家判断的适用边界,以及从失败中学习的机制。

因此,我基本认同“用好 Agent 的下一站,是高质量知识库”这个判断。但从法律 AI 的实践看,知识库这个概念仍然有些宽泛。更准确地说,Agent 的下一站,是将公开规范、业务事实、专家判断、历史决策和失败案例,编译成可检索、可执行、可验证、可追溯的知识系统。

本文看点

01

知识为何失效

02

四层知识系统

03

从记录到能力


01

知识进入任务

一、当 Agent 开始进入真实作业,知识问题才真正暴露出来

在一个简单任务中,模型依靠通用知识和临时上下文,往往就能给出看起来合理的结果。进入持续性的专业作业后,情况会迅速变得复杂。

以合同审核为例,同一个模型面对同一份合同,如果只知道“站在采购方立场审核”,它通常只能生成一套通用风险提示。如果进一步提供客户的标准模板、审核指引、历史谈判记录、业务模式、已确认底线和过去的人工修改,输出质量会明显提升。

但材料继续增加后,新的问题也会出现。

某次谈判中接受的条款,是否代表以后都可以接受?旧版本审核指引与最新版本发生冲突时,Agent 应当以哪个版本为准?客户曾经在一个项目中接受“各自独立处理”,是否意味着数据处理角色的通用立场已经改变?一份合同中的软件即服务、私有化部署和实时调用概念,应当进入合同正文,还是仅作为内部事实供审核使用?

这些问题无法通过“多上传一些文件”解决。因为 Agent 面对的已经不再是单纯的信息不足,而是知识类型、适用范围和优先级没有被清楚定义。

法律工作中的很多错误,并不源于模型完全不知道某项知识。它可能找到了相关材料,却无法判断这是一项现行法律要求,还是一份行业建议;这是客户长期适用的审核底线,还是一次特定谈判中的商业让步;这是已经确认的项目事实,还是尚待业务澄清的假设;这是可以直接用于生成条款的规则,还是只能供法务参考的背景信息。

因此,专业 Agent 的核心问题,逐渐从“有没有知识”转向“知识以什么身份进入任务”。


02

四层知识框架

二、法律 AI 所需要的知识,至少有四个层次

法律 AI 经常被概括为“法规库、案例库加大模型”。这个理解过于简单。法规和案例当然重要,但它们只是法律 Agent 作业所需知识的一部分。

第一层是公共规范知识,包括法律法规、司法解释、监管指南、裁判规则、官方问答和行业标准。这一层回答的是:外部规范提出了什么要求。

公共知识仍然是法律判断的基础。私有信息更接近企业现场,但离现场更近,并不自动意味着结论更可靠。法律依据是否有效、适用哪个法域、规范层级如何、何时生效、是否存在例外,都需要依赖经过校验的公开权威来源。

第二层是客户与事项记忆。它包括客户背景、业务模式、参与主体、历史沟通、已经确认的事实、待确认问题、已接受风险、关键决策和当前开放事项。

这一层回答的是:在这个具体客户和具体项目中,已经发生了什么。

事项记忆不能被简单当作通用规则。某个客户在一次谈判中接受较高风险,可能源于项目时间、商业地位或特定交易条件。它能够约束当前事项,却不应未经审核地进入其他客户项目,更不能直接上升为通用法律立场。

第三层是专家规则,包括判断方法、审核口径、适用条件、风险等级、可偏离尺度、底线、替代方案和人工介入条件。

这一层回答的是:以后遇到相似问题,应当依据哪些事实作出什么判断。

例如,“需要关注个人信息处理角色”仍然只是一个主题提示。真正可以被 Agent 执行的知识,应当进一步说明:由谁决定处理目的和方式,谁确定数据字段和保存期限,什么条件下优先采用受托处理,什么条件下可以接受各自独立处理,共同处理需要哪些事实基础,角色不清时必须追问哪些问题,不同角色对应哪些合同义务。

第四层是评测知识,包括历史失败案例、人工修改、错误根因、边界样本和回归测试。

这一层回答的是:Agent 曾经在哪里失败,以及以后如何证明同类问题已经被解决。

这四个层次如果混在一起,知识越多,Agent 反而越容易产生漂移。一个成熟的法律知识系统,必须能够区分外部规范、项目事实、专家判断和评测资产,并为它们分别设置来源、版本、权限和调用条件。


03

从会话到能力

三、历史会话很重要,但会话本身还不是知识

前述文章提到,很多有价值的失败案例因为会话记录没有保存而丢失。这个痛点非常真实。对于 Agent 优化而言,在符合授权、保密、最小必要和留存规则的前提下,完整保存输入、输出、工具调用和人工修改,是建立反馈机制的前提。

但即使将历史会话按要求保存下来,距离形成知识仍然有很长一段路。

一次完整对话中,可能同时存在未经确认的客户描述、模型的错误理解、已经被推翻的方案、临时性提示、旧版本规则和最终人工结论。如果将这些内容整体投入检索系统,Agent 可能同时召回正确答案和错误过程,也可能把一次临时讨论误解为正式规则。

因此,会话更接近原始作业日志。它需要经过一套转换流程,才能成为稳定的 Agent 资产:

保存会话

→ 标记人工纠正

→ 分析错误根因

→ 提取知识增量

→ 更新规则或 Skill

→ 生成回归测试

→ 发布新版本

每一次重要人工纠正,至少应当形成三种可能的变化。

第一种是知识变更,即知识或规则需要发生什么变化。Agent 是否缺少某项背景,原有规则是否过于宽泛,某个例外是否没有写清楚。

第二种是执行方式变更,即作业步骤需要如何调整。Agent 是否遗漏了一个步骤,是否应当先追问事实,是否错误调用了相似场景的作业规则。

第三种是评测变更,即需要增加什么测试。下一版本如何证明这类错误不会再次出现,哪些关键风险必须识别,哪些结论必须给出证据锚点。

如果一次人工纠正只修改了当前结果,却没有进入上述任何一种变化,Agent 很可能在下一个项目中再次犯同样的错误。


04

专业判断显性化

四、专业经验的 AI 化,核心在于显性化判断逻辑

很多企业已经积累了大量模板、指南、课程、案例和经验总结,也习惯把这些材料统称为“专业知识库”。但对于 Agent 而言,文档数量并不能直接转化为执行能力。

资深专业人员真正有价值的部分,往往隐藏在材料之外。

他知道哪些事实决定问题性质,知道多个风险中哪一个需要优先处理,知道什么条款虽然在法律上成立,却不适合出现在面向用户的协议中,也知道什么情况下应当停止自动判断并转交人工。

这些判断过去通常依赖人的经验,很少被完整写出来。即使写在审核指引中,也常常以“重点关注”“原则上建议”“结合实际判断”一类语言存在。人可以结合场景理解,Agent 很难从中获得稳定边界。

因此,垂直领域的专业经验进入 AI 的过程,需要将隐性判断转化为一组可执行元素:触发这项判断需要哪些事实,事实不足时追问什么问题;默认立场是什么,允许偏离到什么程度;哪些情况触及底线,哪些例外可以接受;结论需要引用什么依据;什么结果可以自动生成,什么结果必须经过人工确认。

这可以被称为知识编译。

原始文档、专家批注和历史案例是知识编译的输入。规则卡、决策树、事实清单、Skill 调用条件和评测用例,才是知识编译后的产物。

从这个角度看,专家知识的 AI 化,并不等于把专家写过的内容上传给模型。真正困难的工作,是把专家在什么时候、依据什么事实、作出什么判断的逻辑表达清楚,并使其能够在新的任务中被准确调用。


05

知识债务

五、Agent 使用越多,也可能积累越来越严重的知识债务

企业开始大规模使用 Agent 后,很容易产生一种乐观判断:任务做得越多,历史数据越丰富,Agent 自然会越来越好。

现实未必如此。

如果组织没有同步保存输入、人工纠正、决策理由和版本变化,大量 Agent 作业可能形成新的知识债务。同一个问题在不同项目中被反复解释,专家每次都要重新补充上下文;某个错误已经人工修正,却因为没有进入回归测试,在模型或 Skill 升级后再次出现;项目结束时只留下最终文件,最有价值的判断过程随人员流动而消失。

传统技术债务会使系统越来越难维护,知识债务则会使组织越来越依赖少数人的记忆。Agent 使用规模越大,这种问题越明显。

因此,企业不能只统计 Agent 完成了多少任务,还需要观察每一次任务是否产生了可复用的知识增量。一次法律审核完成后,除了最终交付物,还应当判断是否出现新的交易模式,是否发现原有作业规则的缺口,是否新增一项可接受偏离,是否产生新的事实问题,是否需要增加一条回归用例。

这也会改变专业工作的“完成”标准。

过去,一项法律任务以合同定稿、意见出具或者报告交付作为结束。Agent 进入作业以后,如果一次重要的人工判断没有转化为知识、Skill 或评测上的变化,这项工作对当前项目可能已经完成,对系统而言却仍然没有完成。

只有当真实任务中的判断和纠错能够被持续沉淀,更多的 Agent 作业才可能形成学习飞轮。否则,任务数量的增加未必带来能力积累,也可能只是让知识债务以更快速度增长。


∞

组织学习

六、未来 Agent 的差距,会越来越接近组织学习能力的差距

随着模型能力提高、Agent 运行框架逐渐开放、工具调用逐渐标准化,构建一个能够运行的 Agent 会越来越容易。模型可以买到,运行环境可以采用开源方案,通用 Skill 也会越来越丰富。

当这些能力逐渐成为公共基础设施,真正难以复制的部分,会转移到组织内部。

一个团队能否记录连续的项目历史,能否从人工修改中提取规则,能否区分客户事实与通用标准,能否让每个失败案例形成新的测试,能否在专家离开后仍然保留其判断方法,这些能力最终决定 Agent 能否稳定完成专业工作。

从法律 AI 的角度看,长期壁垒不会来自拥有多少法规、多少模板或多少提示词。更重要的是,能否把四类资产持续连接起来:公开权威证据、真实业务上下文、资深法律人的判断规则,以及 Agent 实测和人工纠错。

资料进入知识库,只意味着它被保存下来;知识经过筛选、组织和编译,并被纳入真实工作流和回归评测,才真正转化为 Agent 能力。

因此,用好 Agent 的下一站确实是高质量知识库。但再往前一步看,我们真正需要建设的,是一套能够记录真实作业、提取专家判断、约束 Agent 行为,并利用每一次人工复核持续修正的知识系统。

所以,法律法规为 Agent 提供判断依据,Skill 为 Agent 提供执行方法;事项记忆、专家规则的边界和评测反馈,则进一步决定它能否在具体任务中持续、可靠地做对。

模型决定了 Agent 能力的大致边界,知识系统决定这些能力能否稳定落地,反馈机制则决定它能否不断进化。未来专业 Agent 之间的差距,最终会越来越接近不同组织学习、沉淀和复用专业判断能力的差距。


全文完

如果这篇观察对你有启发,欢迎点赞、在看、转发,并分享给正在建设专业 Agent 的同事。