FIELD TEST

选工具,要看它在具体工作中, 多处理对了什么 。

10月23日,Kimi在官方更新记录中宣布K3.1 Pro系列上线。新模型也已进入Kimi Work,用户可以在桌面端选择它处理工作任务。官方更新记录〔1〕、模型发布说明〔2〕

— Kimi Work中已选中K3.1 Pro

图1|本次测试保存的真实界面局部,输入框右下角显示已选中“K3.1 Pro 进阶”。

这次更新,我最关注三个亮点。

一是能容纳更多材料和对话。官方公布支持100万Token的上下文容量。Token是模型计量文字等内容的单位,不能直接当成汉字数;容量大也不保证每处细节都读对。这次没有专门测试它能读多长的材料。

二是更擅长把一项复杂工作连续做下去。官方重点介绍了编程、3D创作、金融研究等场景。对法律工作者,我更关心它能否把阅读文件、查资料、核对数据和生成报告接起来完成。

三是更少编造或说错事实。官方称,在专门设置难题的内部测试中,逐条核对模型说出的事实,出错比例从K3的23.4%降至Pro的8.3%。这不是日常使用、更不是法律任务的错误率,仍需看实际工作中的表现。上述能力与测试口径均见官方发布说明〔2〕

这次,我把它放进两项法律工作中,与K3以及Codex中的GPT-6.1 sol high作对照。先把结论说清楚:Pro比K3有进步;与Codex+GPT-6.1 sol high相比,法律调研仍有差距,案卷整理的几个关键例子表现接近,补证环节没有分出明显高低。

另外,谢凯律师会用民商事诉讼Skill跑一个复杂案件,进一步看看Kimi 3.1 Pro在诉讼实务中的价值。明天会单独分享这组测试,欢迎大家关注。

本文看点

01

法律调研:质量与耗时

02

案卷整理:细节与补证

03

Skill带来了多少增益


01

TEST SETUP

三组分别是什么,测的是什么

这次比较的是以下三组实际使用组合。后文简称“GPT”的,始终指第三组。

文中简称使用入口模型与设置
K3Kimi Work桌面版3.2.20K3,进阶
ProKimi Work桌面版3.2.20K3.1 Pro,进阶
GPTCodex桌面端GPT-6.1 sol,high(高思考强度)

官方另有主打速度的Highspeed版,本次没有测试。

我给Kimi的两组测试分别建立专门的项目文件夹;Codex组使用对应任务目录。三组拿到相同的业务要求和对应材料,分别完成文件交付。这次比较的是它们在各自产品中完成工作的实际表现。

— K3在Kimi Work中的任务设置

图2|测试时的真实界面截图,裁去账户侧栏、无关任务和空白。可以看到项目文件夹、任务要求及K3进阶选项。这张图保存在发送前,用于展示设置,不能单凭它证明任务已完成。

两项工作分别看不同问题:

工作Pro相比K3Pro相比Codex+GPT
韩国、日本、泰国数据合规调研18个重点问题中,K3完整回答10或11个,Pro为15个GPT为17项;Pro仍有儿童年龄边界、旧泄露期限等已发现错误,但交稿较快
劳动争议案卷整理,并在中途补证少漏工资细项,聊天原意保留得更好;仍漏掉一处单位异常提示这几处关键事实两者都处理正确;补证环节也没有明显差别

下面分开看每项工作:先看结论依据,再看实际输出和等待时间。


02

LEGAL RESEARCH

任务一:三国法律调研,Pro超过K3,GPT仍更稳

这项任务的结论是:Pro比K3交代了更多关键条件,但还没有达到本次GPT组的表现。它能提供更完整的研究底稿,关键法条仍需复核。

假设我们要给一家出海企业比较韩国、日本、泰国的数据合规要求:收集个人信息要满足什么条件,儿童信息怎样处理,数据能否出境,发生泄露后向谁报告、多久报告。三组都要交来三国对照表、研究报告、来源和待确认事项,法律截止日统一为2026年10月25日。

每个模型各做两组:不使用Skill和使用Skill。两组的任务要求相同,使用Skill的组额外提供同一份海外数据合规调研Skill。Skill可以理解成给AI的工作说明书,规定优先查官方资料、区分现行法规与草案等。每组只执行一次。

— 3.1 Pro在Kimi Work中执行研究

图3|测试时的真实对话截图。上方是任务要求,中间是Pro的回复和搜索进度,下方能看到模型选择。画面记录的是研究进行到一半的状态;“13分35秒”不是最终完成时间。

为方便比较,我们事先挑了18个需要回答清楚的法律问题,例如儿童同意的条件、跨境传输的限制、泄露报告的期限。逐一核对后,主要条件交代完整的数量如下:

模型不使用Skill使用Skill
K310个11个
Kimi 3.1 Pro15个15个
GPT-6.1 sol high17个17个

在这18个重点问题上,Pro比K3回答得更完整,GPT又好一些。也有Pro做得更好的地方:韩国一项由企业承担证明责任的要求,Pro使用Skill时的答案交代得更完整。

三者都能写出结构完整的研究报告。下面看具体规则怎样影响判断。

例如日本数据泄露报告的人数条件。K3在总表里写“1000人以上”,正文又写“超过1000人”。Pro两份答案都保持“超过”,GPT也一致正确。

— 两版研究报告对同一规则的实际表述

图4|两份实际研究结果的节选,按报告原有格式显示。左边可看到K3总表中的“≥1000”与正文“超过1000”不一致;右边是Pro对人数和报告期限的说明。原文件及行号保留在图片中。

假设恰好涉及1000人,又没有敏感信息、财产损害、不正目的等其他独立触发情形,两种说法可能导向不同的报告判断。K3不是完全不知道规则,而是前后没统一;客户只复制总表,就可能抄错。

Pro对韩国儿童信息的说明也更完整。它补上“依法需要同意时”才进一步要求法定代理人同意,而非只看到年龄,就把所有处理都改成征求家长同意。

不过,Pro仍有重要错误。

泰国儿童同意的年龄条件,K3和Pro都写“未满10岁”。GPT指出泰文原文是“不超过10岁”,并说明英文参考译本有差异。本次按保存的泰文原文核对,GPT正确。对恰好10岁的儿童,这个差别会影响判断;其他未成年人的行为能力与具体行为例外仍需另外分析。

Pro使用Skill时的那份韩国报告,还把旧的24小时泄露规则写进行动建议,称“韩国有72/24小时并行”。它引用的现行PIPA第39条之4,实际是诉讼中的保密命令,不能支持这个结论。GPT两份答案没有出现这一已发现的错误。

— 同一份Pro报告既有改善,也有错误

图5|同一份Pro报告的原文对照展示。左侧补齐了儿童同意的条件,右侧却错用了24小时规则。右侧引文是模型原话,不是本文认可的合规建议。

这类错误会进入客户怎样行动的问题。如果直接把答案转成企业事件手册,就可能写进错误的法定期限。报告有官方链接、写得很细,都不能代替对关键条文的核对。

调研耗时对比

条件K3ProCodex+GPT
不使用Skill8分39秒27分09秒38分24秒
使用Skill26分34秒25分12秒39分22秒
使用Skill后的变化增加17分55秒减少1分57秒增加58秒

使用Skill时,Pro和K3耗时接近,18个问题中多把4个交代完整;GPT再多交代完整2个,但比Pro多等约14分钟。不使用Skill时,K3不到9分钟就交稿,Pro用了27分钟,GPT约38分钟。Pro在这次调研中处于中间位置:比K3完整,比GPT快,但仍有重要错误。

Skill的补漏作用,在K3上更明显。

把耗时和质量放在一起看,这次呈现出一个值得注意的趋势:模型自身完成任务的能力越强,额外加入Skill带来的提升越小。

K3不使用Skill时不到9分钟就交稿,使用Skill后接近27分钟,耗时约为原来的3倍;它补齐的内容也更多。Pro两组耗时都在25至27分钟,GPT都在38至39分钟,变化较小。结合下面的逐项结果,我的理解是:这套Skill对K3展开研究、补齐遗漏的帮助更明显;Pro和GPT本身已能完成较多要求,额外指导的作用就小了。

逐项评分也能看到这种差别:

模型使用Skill的答案中,表现更好的问题表现更差的问题其余评分相同的问题
K34个2个12个
Pro1个1个16个
GPT0个0个18个

这里比较的是每个问题“完整、部分、未通过”三个等级的变化。K3有3个问题从部分变为完整,1个从未通过变为部分;同时有2个从完整退为部分,所以最后只净增1个完整回答。

例如,使用Skill的K3答案补齐了韩国跨境传输的部分适用条件,以及日本共同利用、委托和合并承继等规则。但它也漏掉了不使用Skill时已写到的日本一项跨境信息提供义务。

Pro则是补齐了韩国非同意处理的公开与证明责任要求,同时在泄露报告中混入上文提到的旧24小时规则。一进一退,完整回答总数仍为15个。GPT两组的逐项等级相同。

另一个关键背景是:不使用Skill组,本来就有很详细的任务要求。 委托已经列明18个模块,要求查官方来源、核对版本和生效状态、保留数字的触发条件,并交付对照表、来源台账与待核清单。两组委托的差别,只是使用Skill组增加了使用指定Skill的指令和对应文件。

这让Skill的价值更容易理解:一套好的工作指引,对不熟悉这项工作的模型,更可能起到补漏作用;当模型自己已经能完成这些步骤,额外指引的收益就会变小。本次K3、Pro和GPT的质量与耗时变化,与这个判断相符。


03

CASE FILES

任务二:整理案卷,Pro少漏细节;补证未分出明显高低

这项任务的结论是:Pro相对K3的进步,主要在初次整理时少漏金额、较忠实地保留原话。这两处GPT也做对了。补证后如何更新事实、保留哪些疑问,三组没有拉开明显差距。

这次使用一宗虚构劳动争议。第一轮先给六份材料,包括申请书、劳动合同、工资表、考勤和聊天记录,要求整理时间线、金额、矛盾和缺少的材料,交来事实表及可用Excel打开的数据表。

第一份结果完成后,再在原对话里补进两份测试材料,内容包括病历、休息建议和人事收件记录,要求更新事实表。补充件是合成文字,不是真实病历或聊天截图。核对重点是:原先哪些说法应当修改,哪些事情仍不能下结论。

初次整理的差别,先看一个工资细节。原工资表2026年7月记载:基本工资10000元、岗位工资3000元、绩效500元。

K3写到了工资结构调整,也提取了其他月份的信息,但两轮结果都没有单独列出该月绩效500元这一项。Pro把这个月的三项工资逐一列出,算出合计13500元,与15000元相差1500元,并把补贴另外列出。GPT也抽出了这个细项。

— 两版实际事实表中的工资记录

图6|直接从两版交付的数据表选取工资记录,按相同方式显示。左边是K3抽出的工资概括,右边是Pro另行列出的2026年7月数据;原文未改。这不是两份完整表的截图,K3漏项的判断来自核对它的全部两轮输出。

律师拿到Pro的表,可以直接发现这个月份的变化,再追问绩效为什么减少、依据是什么。用K3的表,还得回原工资表寻找。至于相差1500元是否构成欠付,单凭这些数字不能认定,Pro和GPT都保留了这个区别。

另一个例子,是员工请假时怎么描述身体情况。

原群聊8月3日晚写:“肠胃突然很难受,吐了两次,明天想去医院。”K3把它写成“以急性肠胃炎为由”请假;Pro和GPT保留了肠胃不适、呕吐及准备次日就医的说法。

— 症状和诊断不能提前混在一起

图7|首轮事实表的原文对照展示。案卷是虚构材料;图片按原文重新排版,便于阅读,不是Kimi软件界面的截图。

当晚的聊天只有症状,第二天才是材料记载的就诊日。把后来的疾病说法写回前一晚的聊天,就会改变主管当时听到了什么,以及哪份证据能够证明诊断。这一处,Pro的进步有实际意义。

但Pro也有不如K3细心的地方。申请书一处写“工作年限3.5个月”,另一处写“工作3年4个月”。K3明确提示两处不一致;Pro虽然都抄到了,却主要说算术一致,没有充分指出“3.5个月”的单位异常。GPT提醒应核对3.5的性质和年限进位。

整体看,Pro整理得更完整;单位异常这一处,K3提示得更明确。

再看中途补进材料后,三组有没有改对。

第一轮只有员工在群里说病历已经发送。后来补进的合成企业微信记录,增加了发送时间、附件名和人事的回复:

收到了。请假还要补钉钉流程,我先登记材料,考勤问题另行处理。

这时,事实表应当更新:不再只有员工单方面说“我发了”,还多了对方回复收悉的文字记录。但它仍然不能证明公司已经批准三天病假,也不能自动把原考勤里的旷工改成病假。

三者都处理对了这些区别,也没有乱改与新材料无关的入职时间、工资等内容。原始病历、完整聊天和审批记录仍需核对,它们也都保留了这些缺口。

这次中途补证,三组都完成了主要更新。GPT的更新说明更细;Pro较K3的优势,主要在前面看到的工资细项、原话和证据出处。

案卷整理耗时对比

阶段K3ProCodex+GPT
先整理六份材料5分32秒8分17秒7分53秒
补进材料后更新3分43秒2分46秒4分19秒
两轮合计9分14秒11分03秒12分12秒

Pro第一次整理比另两组都慢,补证更新才更快。两轮加起来,它比K3多约2分钟,比GPT少约1分钟。这次整理案卷,Pro比K3更细,代价是多等约2分钟;与GPT相比,前面几个关键点都做对了,总耗时略短。


∞

THE END

用固定任务,组合法律人的AI工作台

回到这次测试,Pro的进步落在具体工作上:调研中少漏适用条件,案卷中补齐工资细项,也更忠实地保留了聊天原话。GPT在法律调研中仍更稳;Skill对K3的补漏作用,则比对Pro和GPT更明显。

这些差别,才是选择工具的依据。日常法律工作包含查法、读卷、提取事实、核对金额、更新证据和起草文件。不同任务需要的能力不同,同一模型搭配不同的Agent或Skill,也可能交来不同质量的成果。

因此,我们需要把常做的工作变成一组固定测试:保留相同的材料、任务要求和交付标准,换模型时看它多找到了什么、漏掉了什么;加入Agent时,看它能否把检索、读文件和生成成果接起来;使用Skill时,看既有方法是否让结果更完整、执行更稳定。再把耗时、Token消耗和人工修改量放在一起,判断新增的投入换来了什么。

模型提供理解与推理能力,Agent组织工具和执行过程,Skill承载专业方法。要组好法律人的工作台,就要测清楚:对一项固定任务,每增加一个模型、Agent或Skill,究竟带来了多少增益。

有了这样的测试积累,工具升级时就可以用原任务复测,保留有效的组合,调整收益变小的环节。法律人的AI工作台,也就能随着自己的业务和技术变化,持续改进。


测试记录:2026年10月25日晚至26日凌晨执行,法律截止日为2026年10月25日。Kimi使用Work桌面版3.2.20,K3和Pro均选进阶;GPT使用Codex中的GPT-6.1 sol high。共9个任务、12次任务发送,每组执行一次;AI辅助逐项核对18个法律问题及16组案卷事实。耗时从任务发出计至结果文件完成,包含搜索、工具调用和写文件。案卷及补证为虚构测试材料。

用量记录:GPT四次任务累计总Token为30,050,105,其中缓存输入28,800,256、未命中缓存输入1,114,995、输出134,854。Kimi两版本的原会话Token计数未取得。

来源与核对:Kimi模型发布说明〔2〕、上线日期记录〔1〕、Kimi Work介绍〔3〕;法律问题沿用本次保存的原文及核验,包括日本PPC泄露说明〔4〕、韩国PIPA本次采用的版本〔5〕。文件、原文位置与图片出处见本文材料索引。


05

SOURCES

参考来源

[1] 官方更新记录:https://www.kimi.com/code/docs/kimi-code/whats-new.html

[2] 模型发布说明:https://www.kimi.com/en/blog/kimi-k3-1-pro

[3] Kimi Work介绍:https://www.kimi.com/help/kimi-work/overview

[4] 日本PPC泄露说明:https://www.ppc.go.jp/news/kaiseihou_feature/roueitouhoukoku_gimuka

[5] 韩国PIPA本次采用的版本:https://www.law.go.kr/LSW/lsInfoR.do?ancYnChk=0&chrClsCd=010202&efYd=20260911&lsiSeq=283839


END

如果你觉得今天这篇有收获,欢迎 点赞、在看、转发 三连,我们下篇见。