
2026 年 9 月,TypeSafe AI 推出了 Jev。这个模型选择了一条很特别的路线:放弃自由生成长篇文字,围绕预先定义的问题,直接返回程序能够使用的判断结果。官方把这一类模型称为“系统一模型”(System One)。[1][3]
如果你让它写一份劳动争议分析报告,便没有用上它的特点。如果把任务改成“给定这些证据,是否足以支持已经实施过针对性培训”,让它在几个明确的选项中选择,就进入了它所面向的工作范围。
这引起了我的兴趣。法律 AI 的大量工作,都藏在一份报告背后的细小判断里:材料是否支持某个事实,反驳是否造成实质冲突,某项条件是否已经满足,下一步应当补证还是继续分析。这些判断决定报告能不能成立,也决定软件接下来做什么。
Jev 值得测试的地方,就是它能否分担这些判断,并让后面的法律工作继续可靠地进行。
这篇文章也是 LaborPilot 劳动争议 Skill 直播前的一份延伸阅读。实验复用了这套 Skill 的逻辑拆解方法,用来展示一套专业办案方法怎样把复杂案情拆成边界清楚的小问题。
这次测试复用了 LaborPilot 的逻辑拆解思路,围绕三个匿名劳动争议案件设计具体问题。我们让 Jev 和结合该 Skill 的强推理模型分别作答,再把两边的答案与测试前已经确定的参考答案进行比较。要观察的是:判断模型换了以后,原有分析结构能否保持,最终报告中的结论会不会随之改变。
首轮测试曾得到一个非常整齐的结果:17 道题中,Jev 与强推理模型的答案全部相同。但在逐题复核它们与参考答案的七处分歧后,我们发现,部分题目把“材料中有没有争议”和“经过权衡后能否认定事实成立”混在了一起。于是我们重新设计并固定了 11 道题进行复测。
复测结果不再支持“两种方案完全一样”:在 11 道题中,Jev 与强推理模型有 9 道答案相同;Jev 有 8 道与参考答案相同,强推理模型也有 8 道与参考答案相同。这个结果既显示了 Jev 的潜力,也让 Skill 的价值变得更具体:它帮助我们说明,一个大问题需要经过哪些判断,哪些条件不能互相替代,以及遇到什么结果时,必须交给更强的模型或专业人员继续处理。
复测带来的最重要发现甚至不完全属于 Jev:法律 AI 不能只给出一个“支持”或“有争议”,就同时回答两件不同的事。它需要先说明现有材料究竟是单方支持、双方冲突,还是缺少关键证据;处理完这些问题以后,再判断某个事实最终能不能认定成立。
一、先理解 Jev:它把答案变成了下一步工作的输入
从生成文字,到返回一个可执行的选择
日常使用大模型,我们通常提出一个问题,得到一段文字。人读完以后,再决定怎样行动。
软件需要的东西更明确。比如,一个案件材料检查程序要知道:这一项已经有证据支持,可以进入下一步;那一项双方说法冲突,需要人工复核;另一项根本没有材料,应该先生成补证任务。
如果程序只收到“综合来看,尚需结合其他情况进一步分析”这样的文字,还得再做一次判断:究竟应该把案件送到哪里?
Jev 面向的就是这种需求。它接收材料和边界明确的问题,直接给出选择、评分等结果。以本文使用的选择题为例,返回内容包括选中的答案、各选项概率和置信度。[1][4]
普通大模型也能按要求输出固定格式。Jev 的产品路线更进一步:把这种结构化决策作为模型本身的目标。TypeSafe 在发布说明中介绍,它采用新的架构、并行采样和面向校准决策的训练方法,减少对逐字生成文本的依赖。这是厂商对技术路线的说明,本次实验检验的是实际输出表现,没有验证底层架构。[3]

TypeSafe 网站把 Jev 的固定格式输出、概率结果和产品边界放在同一页说明:它面向快速判断型的“系统一”任务,并非生成式聊天模型,也不擅长需要长链推理的“系统二”任务。图中的速度、价格和能力表述属于厂商主张,本文用独立劳动争议测试观察其实际表现。
对法律使用者来说,值得抓住的是接口变化:一项判断可以直接成为下一步工作的条件,而不必每次都先变成一段供人阅读的说明。
法律工作为什么需要这种能力
以劳动争议案件审查为例,“有没有培训记录”“培训是否针对已发现的问题”“培训后有没有新的评价”,看起来相关,却是三个不同的问题。
如果把它们混在一段综合分析里,一个环节的材料很充分,可能让整段话显得很有说服力,而另一个环节的缺口被带过去。拆开以后,每项判断都要面对自己的材料、规则和反驳。
这次复用的 LaborPilot 是金莉珊律师制作的劳动争议 Skill。测试时使用的是 1.4.4 版本。它从任务和案件阶段出发,组织争点、构成要件、证据及缺口,再衔接分析与成果输出。Skill 在这里提供的是办案方法和处理顺序;具体由哪个模型执行判断,则可以单独测试。
这种设计还有一个实际好处:新材料来了,可以知道应该复核哪一项。例如补入一份新的培训签到表,首先影响的是培训是否实际开展;它是否改变“培训有针对性”的判断,还要看培训内容与原来问题的关系。
这些问题不是 Jev 自动发现的。本次复用 Skill 的逻辑拆解能力,再通过测试包把它落实成明确的材料、规则和选项。人仍然需要复核拆分是否正确;Jev 则尝试执行其中边界清楚的判断。
这里需要划清一条边界:这 17 道题来自本次测试设计,并不是公开版 LaborPilot 已经提供的 Jev 接口。本次验证的是这种分工思路,还没有完成产品里的正式接入。
因此,我更看好它进入这样的分工:通用模型协助整理材料和解释复杂分歧,Jev 尝试承担已经定义清楚的判断,程序负责保留条件关系,法律专业人员核对依据并作最终决定。
这种分工也有代价。Jev 的选择结果本身不提供完整法律论证。如果报告需要引用证据、解释为什么采信某个事实,仍然要安排单独的说明与复核环节。
二、怎么调用 Jev
Jev 可以先在网页里试用,也可以通过接口接入自己的工作流程。
第一步:先在网页里试一次
从 TypeSafe 官网进入控制台,或者直接打开 Playground。把一段材料放进去,再添加一个问题,就可以直观看到 Jev 选择了哪个答案,以及它给各个选项分配的概率。[2]
第二步:获取 API Key
需要批量调用时,进入 API Keys 页面,登录后按页面提示获取并复制 API Key。它相当于调用服务的密码,不要放进公开文章、截图或代码仓库,也不要直接显示在普通终端命令里。[2][3]
第三步:准备材料和问题
每次调用只需要把四件事写清楚:
| 要准备的内容 | 以培训问题为例 |
|---|---|
| 材料 | 公司提供了哪些培训和辅导记录,员工提出了哪些具体异议 |
| 判断标准 | 这次只检查培训是否针对已经指出的问题,不能仅凭材料中出现“培训”二字就通过 |
| 一个具体问题 | 现有材料是否足以支持公司实施了有针对性的培训或辅导? |
| 选项含义 | 什么叫支持,什么叫不支持,什么情况属于有争议,什么情况属于信息不足 |
题目越具体,结果越容易使用。不要直接问“公司能不能解除劳动合同”,而应当一次只问一个事实问题。例如,是否实际开展过培训,是一个问题;培训是否针对已经发现的能力缺口,是另一个问题。
选项也要写清楚。“没有找到支持材料”和“已有证据证明事实不存在”不是一回事;前者可能是信息不足,后者才可能是不支持。选项边界含糊,模型即使稳定返回答案,也可能答的不是你真正想问的问题。
第四步:发起调用并读取结果
接口地址是 https://api.typesafe.ai/v1/systemone。请求中,案件材料放在 state,问题放在 questions;选择题用 instructions 写明要判断什么,用 criteria 定义每个选项。[2][4]
一般试用可以选择 jev-latest。如果要让测试结果可以复核,就应记录实际模型版本。本次测试固定使用 jev-1.13.0。
返回结果包括模型选择的答案、各选项概率和置信度。保存结果时,应同时保留问题、选项定义和模型版本,但不要保存 API Key。接口调用失败也应单独记录,不能把失败误写成“信息不足”。
三、劳动争议测试,为什么要拆成小问题
这次选择“不胜任工作解除”,是因为这个场景有明显的条件关系,适合把 Skill 的逻辑拆解过程展示出来。
《劳动合同法》第四十条第二项涉及劳动者不能胜任工作,经过培训或者调整工作岗位后仍不能胜任的情形;完整解除判断还涉及其他法定条件。本次实验集中考察其中的判断链,并未覆盖全部解除风险。[6]
对这个场景,直接问“公司能不能解除”,很容易得到一份看起来完整的报告,却不容易看清模型在哪一步作了跳跃。
沿着 Skill 的争点与证据拆解思路,本次测试把核心检查顺序整理为:
岗位标准的依据 → 第一次不胜任判断 → 有针对性的纠正措施 → 纠正后的新评价。
这是测试包采用的审查结构,不是把法条改写成四个勾选框。实际判断仍然需要处理证据冲突、归因和特殊情形。拆分的目的,是让这些问题有各自的位置。
三个案件各自带来了不同难点:
| 案件 | 材料中最关键的矛盾 | 要观察模型能否分清什么 |
|---|---|---|
| A:医药业务岗位 | 公司有连续业绩数据和培训记录;员工质疑医院资源、目标设置及培训针对性 | 有一套材料,与材料足以支持命题之间的距离 |
| B:产品经理 | 公司给出低绩效评价并提出改进计划;双方确认计划没有实际执行 | 发出计划,与纠正措施已经实施之间的区别 |
| C:财务经理 | 公司提出调岗,员工拒绝;材料没有显示到新岗位工作及新的评价 | 拒绝调岗,与调岗后仍不能胜任之间的区别 |
这次评测有一个重要的依据:三个案件来自真实判决书。 我们对照的不只是另一个模型的回答,还有法院已经作出的事实判断与裁判分析。
测试包保存了文书来源、裁判结果和逐题答案的对应关系,三个案件分别为:
| 测试案件 | 判决书来源 | 原案裁判结果 |
|---|---|---|
| A:医药业务岗位 | 山东省烟台市中级人民法院,(2023)鲁06民终1770号,二审 | 认可本案解除合法 |
| B:产品经理 | 上海市徐汇区人民法院,(2023)沪0104民初3778号,一审 | 认定解除违法 |
| C:财务经理 | 武汉市江汉区人民法院,(2023)鄂0103民初2408号,一审 | 认可解除合法,并支持经济补偿 |
判决书为测试提供了可追溯的依据,但法院并没有直接回答我们后来设计的选择题。因此,参考答案也要区分来源:有些直接来自判决书已经确认的事实,有些根据法院的证据取舍整理而成,还有一些是评测者为了检查“材料是否缺失”“争议应该停在哪一步”而预先设定的判断标准。后文比较的,正是这些测试前已经固定的参考答案,不能把它们全部写成“法院逐题作答”。
测试将 Jev 与一套强推理模型方案进行对照。后者使用 gpt-5.6-sol / high,并加载 LaborPilot 1.4.4 的必要指令。两边回答相同的问题,但运行方式并不完全相同,因此,这项实验比较的是两种判断方案在当前任务中的表现,不是脱离使用环境的模型排名。
首轮设置了 17 个独立问题。每道题只提供匿名材料、一条最小规则和一个具体问题;模型看不到真实案名、法院、案号、裁判结果和参考答案,也不能联网查案。各题独立运行,前一道题的结果不会影响下一道题。两边答案固定以后,我们才打开参考答案进行比较。
首轮结果是:17 道题中,Jev 与强推理模型的答案全部相同;两套方案又都只有 10 道题与当时的参考答案相同,其余 7 道出现了同方向的分歧。这就是后文所说的“七处共同分歧”。
我们没有据此把七道题直接判成“两个模型共同答错”,也没有反复重跑原题。相反,我们逐题检查:题目究竟要求识别材料中的争议,还是要求像法院一样作出最终认定;匿名材料是否保留了足够细节;参考答案究竟来自判决书,还是来自评测者设定的边界。复核后,我们将复合问题拆开,并补充必要材料,形成 11 道新的复测题。首轮的原始请求、回答和“17 道题中有 10 道与参考答案相同”这一历史结果全部保留,复测则单独记录,不用新结果覆盖旧结果。

怎样看这张图:画面最上方是模型结论——“有争议”;下面分别列出支持公司判断的材料和员工的反驳。问题不在于模型没有找到证据,而在于原题一次询问了三件事:指标是否存在、是否事先告知、是否合理可比。复测把这三件事拆开后分别判断。这张图只展示首轮的强推理模型答复,不是 Jev 生成的解释。
首轮还做了第二层检查:把 Jev、强推理模型和参考答案这三组结果分别匿名交给同一个报告合成模型,再按相同要求生成案件层面的结果。这个步骤用来观察前面的单题判断会怎样影响最终报告。复测没有重复运行这一环节。
四、把结果放回案件里,才能看出它的价值
先把两轮结果分开:
| 轮次 | 观察结果 | 正确读法 |
|---|---|---|
| 首轮测试 | 17 道题中,Jev 与强推理模型的答案全部相同;两者都只有 10 道与当时的参考答案相同 | 这是历史结果,用来发现问题,不能当作 Jev 的产品准确率 |
| 首轮报告合成 | 三个案件的 12 个结果字段全部相同 | 说明相同的单题答案进入同一合成步骤后,报告结构能够保持一致;不能单独证明两种模型能力相同 |
| 复测 | 11 道题中,两种方案有 9 道答案相同;两者又各有 8 道与参考答案相同 | 这是纠正题目后的描述性结果,仍然不是正式评分或排行榜 |
复测改变了我们对首轮数据的解释。原来的七处共同分歧,并不等于两个模型共同答错七题:有些题目一次问了太多事情,有些把“发现争议”和“作出最终认定”混在一起,还有些没有提供足够细致的匿名材料。纠正以后,Jev 真正暴露出的特定问题,是没有始终把不同的待证事实分开判断;与此同时,在工会通知材料缺失的问题上,Jev 反而比强推理模型更准确地保留了“信息不足”。
案件 B:一份没有执行的计划,不能被写成已经完成的过程
产品经理案件中,公司曾肯定员工表现并确认转正,随后又连续给出低绩效评价。用来比较工作表现的项目系统,是否覆盖全部工作、不同产品经理的任务是否可比,存在异议。材料也没有清楚显示,公司事先告知了一套可以量化核验的最低岗位标准。
后来公司提出一个月的绩效改进计划,员工拒绝。材料里有一个相当明确的事实:双方确认,员工没有实际执行这份计划。
首轮中,Jev 和强推理模型在四个核心问题上都选择了“不支持”,与参考答案相同。
这里值得注意的是对过程的区分。文件里出现“绩效改进计划”,只能说明有这样一项安排;它能否证明纠正措施已经实施,需要另外检查。如果模型只抓住文件名称,再把“不胜任—改进—仍不胜任”写成顺畅的叙述,就会补上一段材料没有支持的过程。
首轮把“是否履行工会通知”与“是否提前通知或支付代通知金”合成了一道程序题。复测将它拆开后,在代通知金问题上,两个模型都判断“已有材料支持”;在工会通知问题上,现有材料没有给出决定性证据,Jev 保留“信息不足”,强推理模型却判断为“不支持”。
这处差异很有代表性。没有看到履行证据,不等于已经证明没有履行。对于法律流程来说,正确保留“未知”,往往比给出一个更果断的否定答案更有价值:它会触发补证,而不是提前封闭判断。
案件 C:拒绝调岗,要留在它自己的问题里
财务经理案件中,员工签收过岗位标准和考核方案,公司认为其完成率偏低。员工则提出,一些工作已经提交,部分制度未签发还涉及管理层审批。
公司随后提出从财务经理调为财务主管,员工明确不同意。材料没有显示员工实际到新岗位工作,也没有显示在新岗位上接受了新的评价。
首轮对“调岗后仍不能胜任”这一问题,Jev 与强推理模型都选择“不支持”,与参考答案相同。进入后续报告合成环节后,三组结果都保留了同一个区分:解除所需的事实条件还没有得到完整支持,而拒绝调岗应当作为另一个问题继续审查。
复测又把案件 C 中两个容易混淆的问题分开检查。
第一题问的是:按照法院认定事实时使用的标准,原岗位不胜任是否已经能够认定成立。Jev 与强推理模型都认为“尚不能认定成立”,而根据原案判决整理出的参考答案是“能够认定成立”。这不是 Jev 特有的偏差。匿名材料没有保留员工提交成果的具体内容、审批未完成的原因、完成率计算过程及逐项质证情况,两套方案都认为材料还不够。这个结果说明,法院结论可以让参考答案更可信,却不能自动补上测试材料中缺失的细节;评测仍要说明模型当时究竟看到了哪些材料。
第二题问得更窄:调岗目的与岗位内容,是否对应公司此前指出的能力缺口。强推理模型和参考答案都认为“已有材料支持”,Jev 则判断“有争议”,置信度仅为 0.18。
从法律分析的角度看,这里涉及两个不同的待证事实:一个是劳动者在原岗位是否不能胜任,另一个是拟调整岗位的内容是否针对公司已经指出的能力缺口。即使第一个事实仍有争议,也不能据此认定第二个事实当然有争议;后一个问题仍应根据调岗通知、岗位职责和此前指出的具体问题单独审查。Jev 在这道题上没有把两个待证事实清楚分开,因此把本应单独判断的对应关系也答成了“有争议”。由于 Jev 不提供完整推理过程,这里描述的只是可以观察到的答题表现,不是对其内部推理方式的确认。
这不是说拒绝调岗对法律判断没有意义。它应当在与调岗有关的问题中分析,却不能代替材料中缺失的新岗位工作表现和评价。同样,一个待证事实尚未确定,也不能让其他待证事实不经审查就一并变成“有争议”。
对法律 AI 软件而言,关键是先确定每道题各自要证明什么,再判断它们之间是否存在法律上的前提关系。有些结论确实以前一个事实成立为条件;有些问题则应当依据自己的证据单独判断。这个案例表明,Jev 若进入判断流程,仍需要设置复核规则,检查它是否把不同的待证事实混在了一起。
案件 A:复合题拆开以后,原来的分歧大幅收缩
医药业务岗位案件最值得细看。公司并非只有一个笼统结论,而是提交了多期业绩数据、客户拜访记录、绩效改进计划、产品知识测试、演讲演练、协访点评等材料,部分记录还有员工签字。
员工的反驳也很具体:不同医院的资源是否可比,目标相对历史业务是否提高过多,培训是否只是团队常规安排,实际实施是否与计划一致。
首轮有几道关键题把“指标是否存在”“是否事先告知”“是否合理可比”等问题合在一起,也不同程度混合了“材料里有没有反驳”与“经过权衡能否作出认定”。当时两个模型都更容易停在“有争议”,看上去像是共同偏保守。
复测改变了这个解释。题目被拆开并明确任务以后,两套方案在这些关键问题上重新接近:
| 复测拆开的问题 | Jev 与强推理模型的结果 |
|---|---|
| 绩效指标和评价材料是否存在 | 都认为已有材料支持 |
| 材料能否确定员工事先知悉具体标准 | 都认为现有材料不支持;参考答案为“信息不足” |
| 指标合理性、资源可比性是否存在实质冲突 | 都认为“有争议” |
| 按法院认定事实的标准,第一次不胜任是否成立 | 都认为“能够认定成立”;Jev 置信度为 0.90 |
| 是否实施过与已指出问题对应的培训或辅导 | 都认为已有材料支持;Jev 置信度为 0.95 |
| 培训后是否出现了新的工作表现材料 | 都认为已有材料支持 |
| 培训后仍不能胜任是否能够最终认定 | 都认为“能够认定成立” |
培训问题尤其能说明这一点。首轮 Jev 以 0.84 的置信度判断“有争议”,但那道题把培训是否存在、是否有针对性、实施到什么程度以及员工反驳是否成立混在了一起。复测将问题缩小为“是否存在针对已指出问题的培训或辅导”后,Jev 与强推理模型都认为已有材料支持。原来的分歧主要来自题目问得太宽,不能继续把它当成模型识别培训证据的产品缺陷。
这里出现了一个对法律 AI 很有用的区分:同一组材料可以一方面存在证据冲突,另一方面在权衡以后仍然足以认定某个事实成立。前者是在描述材料现状,后者是在作出最终判断。如果只用“支持”“有争议”“信息不足”这一组答案同时处理两件事,系统就可能把“需要解释和处理争议”误写成“永远不能得出结论”。
Jev 返回的是选项、概率和置信度;强推理模型还能给出文字理由。答案相同,并不证明两者采用了相同的判断过程。因此,若把 Jev 放进 Skill,既要让每道题只处理一个清楚的问题,也要为最终认定保留证据引用与解释环节。
首轮报告对比:局部判断怎样进入最终结构
只看单题答案,还不足以感受一次任务最终交付了什么。首轮测试又把 Jev、强推理模型和参考答案这三组结果,分别送入同一个报告合成环节,再比较三个案件的整体结论。下表将原始结果转写成了便于阅读的中文。
这里比较的是首轮按照固定格式整理出的案件结论,并非三份重新撰写的完整法律意见书。复测没有重复运行报告合成环节。
需要特别说明:本文关于“最终报告没有改变”的直接证据来自首轮实验。复测的目的是纠正题目并定位失败方式,没有重新生成三组案件结果。因此,复测中两种方案在 11 道题里有 9 道答案相同,不能直接推导出“更新后的报告仍然不变”。

怎样看这张图:报告合成模型只接收前面已经确定的单题答案,不再阅读案件材料,也不重新查找事实和法律。图中展示的是“参考答案”进入合成环节后,怎样形成三个案件的核心判断、程序问题、特殊分支和总体评价。Jev 与强推理模型的答案也经过完全相同的步骤。
| 案件 | 强推理模型的答案进入报告合成 | Jev 的答案进入报告合成 | 参考答案进入报告合成 |
|---|---|---|---|
| A:医药业务岗位 | 解除所需的核心条件仍有争议;程序方面有材料支持,但不能消除核心争议 | 解除所需的核心条件仍有争议;程序方面有材料支持,但不能消除核心争议 | 核心条件成立,但仍要说明业绩不佳的原因争议 |
| B:产品经理 | 解除所需的核心条件不成立,程序材料也不完整;整体不支持 | 解除所需的核心条件不成立,程序材料也不完整;整体不支持 | 核心条件不成立;即使程序方面有材料,整体仍不支持 |
| C:财务经理 | 解除所需的核心条件不成立;拒绝调岗需要另外审查 | 解除所需的核心条件不成立;拒绝调岗需要另外审查 | 核心条件不成立;拒绝调岗同样需要另外审查 |
最右一列是参考答案进入报告合成环节后的输出,不是判决书原文。例如,案件 C 的原案裁判认可解除合法,但测试仍然把拒绝调岗作为单独问题继续审查。不能因为法院最终认可解除,就反过来认定“调岗后仍不能胜任”这一具体事实已经得到证明。
在首轮中,换成 Jev 后,按照固定格式整理出的报告结论没有改变。 三个案件的核心判断、程序问题、需要单独处理的事项和总体评价,共 12 个结果字段全部相同。
但报告里的解释文字并不要求逐字相同。例如财务经理案,两边都保留了“拒绝调岗不能反过来让后续不胜任条件通过”的约束;部分理由的表述和强调点不同。这里验证的是判断状态和处理路径的保持,不是文风一致。
这也让 Skill 的作用更容易看见:报告不只是收集几个答案,再写一句“综合考虑”。它要保留条件之间的关系——程序方面有材料,不能自动补上实体条件的缺口;出现拒绝调岗,要进入相应分支,不能省略另一个判断步骤。
对比第三列还能看到,真正改变案件 A 总体评价的,是前面具体判断的证明尺度。后续模型再会组织语言,也不能在没有新依据的情况下,把前端的“有争议”改写成“已经成立”。
这张对比图仍有保留价值:它说明,单题答案可以稳定地进入后续报告,也直观展示前面的判断怎样限制最终结论。但复测的 11 道题中,两种方案只有 9 道答案相同。因此,不能再用首轮 12 个报告字段全部相同,证明两种方案现在仍然完全一致。若以后更新完整报告,应先处理工会通知材料缺失,以及两个调岗相关待证事实没有被分开判断这两处差异,再重新合成。
五、从“首轮完全相同”到“复测出现差异”:纠正测试比漂亮数字更重要
首轮只有 10 道题与参考答案相同,这个结果应该怎样理解
首轮回答了一个有限的问题:在当时的材料、规则、选项和模型版本下,Jev 能否复现强推理模型的选择?答案是可以,17 道题的结果全部相同。但两套方案都只有 10 道题与当时的参考答案相同,另外 7 道存在分歧。
逐题复核以后,“17 道题中有 10 道与参考答案相同”不能继续被解释成 Jev 的“产品准确率”。原因不只是样本少,还因为部分题目本身混合了不同任务:有的既问材料是否有争议,又问法院最终会不会认定;有的把两项程序义务放进同一道题;有的参考答案使用了匿名材料没有完整呈现的裁判信息。
复测没有覆盖首轮记录,而是根据复核结果重新设计并固定了 11 道题。Jev 有 8 道与参考答案相同,强推理模型同样有 8 道与参考答案相同;两种方案之间则有 9 道答案相同。这组结果推翻了“两种方案完全一样”的说法,也推翻了“首轮七处分歧都来自模型能力”的简单解释。
法律判断最好分成两步
复测揭示的核心问题,是同一组答案承担了两种不同工作。更容易理解的做法,是让系统分两步回答:
| 步骤 | 回答的问题 | 可以使用的答案 |
|---|---|---|
| 第一步:先看材料 | 当前材料是单方支持、双方冲突,还是缺少关键证据? | 只有支持材料、存在实质冲突、缺少决定性材料、已有材料明确否定 |
| 第二步:再作认定 | 处理证据冲突以后,这个事实最终能不能认定成立? | 能够认定、不能认定、暂时不作认定 |
这样,案件 A 就可以同时表达两层意思:员工确实提出了有实质内容的反驳;但法院在比较双方证据以后,仍然认定不胜任成立。第一步提醒报告必须解释争议如何处理,第二步才决定某个法律条件最终是否成立。系统不会再把“材料有争议”误写成“永远不能作出认定”。
两种方案真正不同的两道题
复测中,两种方案在两道题上给出了不同答案,而且差异方向并不相同:
| 问题 | 参考答案 | Jev | 强推理模型 | 对系统设计的意义 |
|---|---|---|---|---|
| 工会通知材料是否足够 | 信息不足 | 信息不足 | 不支持 | Jev 更准确地保留了材料缺失状态,下一步应该补证 |
| 调岗内容是否对应已指出的能力缺口 | 支持 | 有争议 | 支持 | 两个不同的待证事实应当分别审查,Jev 没有将它们清楚分开 |
这使 Jev 的定位更具体:它并不是简单地比强推理模型更弱或更强。在检查材料缺失时,它可能更愿意保留“信息不足”;但当一个案件包含多个待证事实时,它也可能没有充分区分每个问题各自需要证明什么。一个可用的判断流程,要利用前一种特性,也要针对后一种情况设置复核机制。
另外两处与参考答案不同的结果也要单独解释。在财务经理案的第一次不胜任认定上,两个模型都认为“尚不能认定成立”,主要原因可能是匿名材料不够细,或者参考答案包含了材料中没有展示的法院权衡过程。在医药业务岗位案的事先告知问题上,两个模型都认为“不支持”,而参考答案是“信息不足”,更接近答案定义边界的差异。它们都不应被算成 Jev 特有的问题。
置信度能否帮助决定复核,目前只是初步信号
官方提供的置信度,表示模型的答案主要集中在哪个选项上,不等于它在法律场景中经过验证的正确率。[5]
复测也提供了直观例子:在“培训后仍不能胜任能否认定成立”这一题上,Jev 的答案与参考答案相同,但置信度只有 0.46;在工会通知问题上,Jev 正确保留了“信息不足”,置信度为 0.40;在调岗内容与能力缺口是否对应的问题上,Jev 答成“有争议”,置信度为 0.18。
本轮几个值得复核的问题恰好伴随较低置信度,这提供了把置信度纳入复核规则的初步信号,但样本量远不足以证明低置信度能够稳定识别错误。 前两道题的置信度同样不高,判断却是正确的。高置信度也只能说明模型的答案更集中,不能替代法律场景中的实际验证。
因此,现阶段只能把答案类型、置信度和事项风险放在一起,作为是否转交复核的参考。例如,可以优先复核“信息不足”“有争议”、置信度较低以及会直接影响当事人权益的结论,但不能据此设定通用的自动通过线。只有积累更多有代表性的样本,并明确不同错误的代价以后,才适合确定具体阈值。
当前不能对外公布“准确率”
劳动争议场景目前还没有完成正式的对外评测设计,这 11 道题也只是针对首轮分歧进行的定向复测。
本文可以如实说明:11 道题中,Jev 和强推理模型各有 8 道与参考答案相同,两种方案之间有 9 道答案相同;也可以具体说明出现了哪些问题。但这些数字不能被包装成产品准确率、排行榜名次或跨场景能力结论。参考答案来自判决书和透明的评测规则,提高了结果的可追溯性,但仍要区分法院已经确认的事实、根据裁判取舍整理出的答案,以及评测者为了测试边界设定的答案。
六、便宜和快速,最终要落实到每一件工作的总成本
首轮的 17 次正式调用全部成功,没有重试,平均接口耗时约 0.9 秒。含一次预检,共使用约 2.55 万个输入词元;按测试时官方每百万输入词元 0.042 美元的价格估算,本批 Jev 模型输入费用约 0.0011 美元。[3]
这个量级使它值得进入重复判断任务。假如一个流程包含几十个细小检查,每一步都等待长篇输出,会影响使用体验。边界清楚的步骤若能快速返回选择,软件就有机会及时提示下一步该补什么、核对什么。
但模型账单只是总成本的一部分。设计问题、整理材料、处理接口异常、复核争议,以及最后生成可以交付的意见,都会占用时间。输入材料遗漏反驳时,快速返回一个判断也无法弥补前端损失。
尤其是本次测试,模型处理的是已经准备好的匿名材料和规则。它没有包含从整套原始卷宗中抽取事实、逐份核对证据的全部工作。不能把 0.9 秒写成“一个案件不到一秒办完”,也不能把 0.0011 美元写成完整案件服务成本。
对照方案每题运行更慢,但它通过智能体任务环境运行,并带有 Skill 指令,与 Jev 的接口计时口径不同。因此,我们不据此给出严格的加速倍数或节省比例。
如果继续做产品试用,我会同时关注三个指标:一批任务实际完成多久,需要人工复核多少项,以及复核发现了多少会改变后续处理的错误。只有这三件事一起改善,低价接口才真正变成工作收益。
还有一项成本来自凭据治理。复测运行时,API Key 曾在普通终端明文显示。虽然测试产物没有保存密钥,这把密钥仍应立即撤销并更换。低成本调用只有放进隐藏输入、系统密钥库和不记录凭据的日志策略中,才适合进入稳定工作流。
七、Jev 适合放在法律 AI 工作流程的什么位置
经过这次实验,我认为 Jev 值得继续测试,但它目前适合承担的是边界清楚的小判断,而不是独立完成整个案件分析。复测的 11 道题中,它与强推理模型有 9 道答案相同;在一道题上,它更准确地保留了“信息不足”,在另一道题上,它没有把两个不同的待证事实清楚分开。这个结果支持继续试用,但不支持把 Jev 写成强推理模型的完全替代品。
实际落地时,可以先让它在现有人工流程旁边运行:给出建议答案并记录结果,暂不据此自动作出影响当事人权益的决定。把人工认定与模型结果放在一起比较,先确认哪些问题值得交给它。
一套可行的分工,需要把以下责任保留下来:
| 环节 | 需要有人明确负责的事情 |
|---|---|
| 准备材料 | 保留证据来源、双方反驳和缺失信息,避免摘要替事实作出选择 |
| 设计问题 | 确定规则、选项和证明尺度,分清“发现材料问题”与“作出最终认定” |
| 执行判断 | 由 Jev 返回固定结果,保存输入、实际模型版本与置信度供复核 |
| 决定是否转交复核 | 把“信息不足”“有争议”、置信度较低和高风险结论列为优先复核对象,再用更多测试确定具体规则 |
| 处理分歧 | 检查分歧来自证据、判断规则、参考答案还是题目设计,并确认不同待证事实是否已经分别审查 |
| 形成意见 | 解释事实如何支持结论,由法律专业人员确认 |
这是根据本轮结果提出的下一阶段方案。本次仍是为测试临时搭建的流程,还没有把 Jev 正式接入 LaborPilot,也没有验证无人审核的自动办案。劳动争议场景尚未完成正式对外评分设计。
Jev 带来的一个有价值的变化,是让我们有机会重新分配法律 AI 的计算:哪些步骤需要长篇推理,哪些步骤可以在清楚的边界内迅速作出选择,哪些问题必须回到人对证据和规则的判断。
模型把选择做得越快,法律专业人员就越需要把“为什么问这一题、什么材料才足够、这个答案允许做什么”说明白。 专业 Skill 的价值,就体现在把这部分方法沉淀下来,让不同智能体和模型能够沿着同一套分析结构工作。
本文只选取了 Jev 实测中最关键的结果。直播期间添加小助理,可以获取完整 Jev 测评报告,查看逐题记录、复测对照、报告比较和具体问题分析。

9 月 23 日 19:30,金莉珊律师讲解劳动争议 Skill。微信扫码预约直播。
资料说明:产品文档核对于 2026 年 9 月 22 日。实测完成于 9 月 21 日至 22 日,采用 Jev 1.13.0 与 LaborPilot 1.4.4 + gpt-5.6-sol/high。首轮结果保留为历史记录;复测则针对复合题目、判断任务和参考答案边界重新设计了 11 道题。数据来自《法律AI监测04|Jev 劳动争议判断层实测》、七项分歧逐题复核、定向复测报告及原始测试包。案件材料依据三份真实判决书匿名整理;参考答案包括法院已经确认的事实、根据裁判取舍整理出的答案,以及评测者为了测试边界设定的答案。本文只选取关键结果展开分析,没有收录完整的逐题记录。模型看到的匿名材料不等于法院审理时的全部卷宗,这个场景也尚未完成正式的对外评分设计。
[1] TypeSafe:Jev 与 System One 模型介绍
[3] TypeSafe:Introducing System One Models & Jev
[5] TypeSafe:置信度说明
判决书阅读入口(以下为存档转载网站,并非法院官方网站):