把每个 AI checker 想象成流水线上的一个质检员：专家交上来的题，它盖「通过」或「打回」的章。 问题是——现在没人知道它盖得对不对。行业里管「给质检员建考核」这件事叫 做 eval。 这一页用大白话讲清楚三件事：怎么给它打分、大厂都在用什么工具、那些术语到底是什么意思。
我们出题流水线上，一道题要过一整队 checker，每个只管一个维度。建准确率体系 = 给这队里每一个都单独出记分卡、各算各的准召，而不是笼统评「这题对不对」。范围已定:约 100 个判定型 checker 全都要考;翻译 / 拆分 / 生成这类工具步(约 22 个)不算质检、不在内。
↑ 命名规律:{项目家族}_{维度} —— 同一个维度(如 ai_nature)散在千寻 / 棱镜 / 领航等多个项目里各有一份实例;记分卡按「维度 × 项目」逐格出。
拿上面任意一个 checker 来看:它盖章无非四种结果。好坏两种题、通过打回两种判断，一交叉就是下面这张表。关键是看清那两个「犯错」的格子。
↑ 上方 = 质检员的判断 ← 左侧 = 题目的真实好坏
被 checker 判「打回」的题，专家默认就卡住了、走不到下一步 —— 除非他用「留言 / comment」申辩，绕过拦截继续作业（这个留言记录我们查得到）。所以四个格子谁能白捡、谁捡不到，完全不一样:
· 正确放行 (TN):checker 过、人工也过 —— 干净，白捡 ✓
· 误杀 (FP):专家留言绕过、这题最终又被质检通过 —— 说明当初拦错了，把这条留言当标准答案 ◐
· 漏放 (FN):checker 放过、后被人工质检打回的题 —— 质检写的打回评语就是标准答案，评语点的问题正好是这个 checker 该抓的维度，就是它漏了 ◐
· 正确拦截 (TP):最难 —— 被拦就卡住、没有独立人工确认，只有「留言绕过后又被同因打回」这种能算 ✕
一句话:人工写的文字理由，就是现成的标准答案 —— 被拦的题看专家备注(证明误杀)、被放过又被打回的题看质检评语(证明漏放)。这两种文字比单纯的「通过 / 打回」事件信息量大得多，是我们最富的白捡真值来源。（唯一提醒:被拦侧只留下「主动申辩」那批专家样本，天然有偏，别拿它当全体被拦题算误杀率。）
记住一句话：漏放和误杀是两种病，代价天差地别。 漏放伤的是交付质量，误杀伤的是专家供给（我们平台已实测：返修题有 37.8% 被专家直接放弃，小红书上头号吐槽就是「过度审核」）。 所以永远要分开看、分开定目标，绝不能揉成一个笼统的「准确率」。
假设 100 道题里只有 10 道是坏的。一个闭着眼睛把所有题都判「通过」的傻质检员（甚至是个报错了没跑起来的 bug），准确率照样有 90%——因为它蒙对了 90 道好题。所以单看一个总准确率 = 自欺欺人，必须拆成下面这两个能力分开考。
所有真的坏题里，质检员抓到了几成。低 = 漏放多，坏题溜走。
类比：安检抓违禁品的比例。
所有真的好题里，质检员放行了几成。低 = 误杀多，冤枉好人。
类比：安检不误拦正常乘客的比例。
质检员打回的题里，真的该打回的占几成。1 减它 = 误杀率。
类比：报警器响了之后真有贼的比例。
就是上面那张 2×2 表。所有准确率指标都是从这四个格子算出来的。
一切考核的地基。
要算上面那张表，你得先有一批「人类专家已经判过对错」的题当尺子，再拿质检员的判断去比。这批权威答案就是 ground truth（标准答案），攒成一个题库就叫 golden set（金标准集）。
放行侧基本白捡:checker 放过、后被人工质检打回的题，质检写的打回评语就是标准答案 —— 评语指出的问题正是这个 checker 该管的维度，就是它漏了。拦截侧只能靠留言:专家用备注绕过、且这题最终又通过的，那条备注就是误杀的标准答案。剩下「被拦就放弃、没留言」的那批题真实标签查不到 —— 这块只能靠后面的抽样补标。
人类专家给出的权威判定，是衡量质检员对错的唯一尺子（必须人来标，不能 AI 标 AI）。
在我们这:专家留言绕过、且最终通过的题，那条留言就是现成真值。
攒起来的一批带标准答案的题。每个 checker 200–300 题起步够看出大变化。
类比：老师的标准答案卷。
专家一条条给题打「该拦 / 该放」标签的过程，是攒 golden set 的动作。
经验：一条约 2–5 分钟。
把已知答案的题偷偷混进质检员的日常流量，自动对答案。AI 不会「认出考题」，比考人还好使。
传统质检的老招，直接能搬。
行业标准做法叫 LLM-as-judge：用一个 AI 去评另一个 AI 的活。（其实我们的 checker 本身就是个 judge。）光有裁判还不够，真正值钱的是把它接成一个越转越准的飞轮——这正是团队想要的「抽 case 看准确率」，大厂已经把它做成了产品。
用一个 AI 去评判另一个 AI 的输出好坏。我们的 checker 就是这类。
要点：让它先讲理由再下结论，输出只要「过/不过」二选一。
生产流量一进来就异步抽样打分，不卡业务速度。飞轮的第 2 步。
Braintrust 的招牌功能。
改动上线前，先拿一批「判例题」重跑一遍，翻车就挡住不让发。
类比：代码上线前的自动化测试。
一次评测跑完的不可变存档，两次之间能 diff：哪些题变好了、哪些变坏了。
改 prompt 到底是进步还是退步，靠它对比。
这个品类叫「LLM eval / 可观测平台」。团队内部点名调研过的 Braintrust 是标杆。我把主流五家和各自的软肋摆一起：
飞轮闭环做得最好：在线打分 → 人工复核 → 一键变标准答案 → 回归门禁，一整套顺滑。Notion、Ramp 在用。
软肋：业务数据要存到美国云、自托管只有企业版美元合同 —— 过不了数据合规。结论：抄它的方法论，不买软件。
开源里唯一把「人工标注队列 + 裁判评估 + 生产抽样」三件事凑齐的（2025-06 起全免费自托管）。
软肋：自托管要养 ClickHouse+Redis+S3+PG 等 6 个组件，还得再存一份数据 —— 跟「维护成本低」矛盾。结论：留作二期候选。
亮点是 Align Evals：人工纠正裁判的判分后，纠正自动变成范例回灌进裁判 prompt，越用越对齐。
软肋：非开源、绑 LangChain 生态、数据同样要出境。结论：只抄「纠正回灌」这一个交互设计。
轻量、后端就一个 Postgres，开发期调试、离线做实验很顺手。
软肋：标注队列是付费版功能，开源版只能一条条标 —— 做持续运营弱一档。
纯本地 CLI、数据不出机器，做「改动回归测试」最顺手。
软肋：没有人工标注队列、没有生产抽样 —— 只是个测试框架，不是运营系统。被收购后路线也不确定。
这些平台的第一步都是「把你的数据搬进来」。可我们的数据（质检判定、人工复核、题目内容）本来就全躺在同一个库里——搬出去再搬回来纯属折腾。所以更划算的是在自家 insight 看板上长一个薄层：借 Braintrust 的方法论、抄 LangSmith 的交互，不买平台。这恰好也是团队一开始就定的「结合生产系统做、维护成本尽量低」的答案。
这些是做的时候会绊倒人的地方，也是能让你在评审会上听懂内行话的词。
比「一致率」更诚实的对齐指标——它把「瞎蒙也能蒙对」的部分扣掉了。两个人判得多一致，κ 才算数。经验线：κ≥0.7 才敢放单人标；人跟人的 κ，就是 AI 裁判能对齐的天花板——人自己都判不齐，别指望 AI 齐。
质检员今天准，不代表下个月准。三个原因：模型供应商偷偷升级、rubric 标准被人改、题型变了。所以准确率要持续盯趋势，不是测一次就完事。
「一个指标一旦变成 KPI，就不再是好指标」。质检员一旦成了考核，专家就会研究怎么骗过它（小红书上已经在传「怎么应付质检」的攻略）。对策：金标准集要定期换血，专盯「过了质检、终审却不合格」的题在不在涨。
我们是多轮 gate：专家被打回会一直改到过为止。所以「每次判得准不准」（判定级）会漏掉两件事——烂题被专家磨到过关、好题被磨到放弃。必须两层都考：单次判定 + 最终流出的题里还有多少缺陷。
传统工厂验货的老制度（国标 Z1.4）：预设一个可接受不良率，连续达标就少抽、跌破就加严抽，规则提前写死不靠临时拍脑袋。可以直接搬来定「每个 checker 人工抽检多少」。
把上面这套行业打法落到我们身上，就是三层——从白捡的、到要花钱的，逐层加：
一句话总结这次调研：Braintrust 验证了「验证集 + 准召」这条路是对的，但它最值钱的是方法论、不是软件。我们数据的位置，决定了在自己库里长出来，比买进来更便宜、也更合规。这也接上了那句共识——用好 AI checker 是系统性竞争力，不是接个 API 写个 prompt 就完事。
整理自内部调研《AI Checker 准确率体系》子报告 04（工具选型）+ 05（评估方法论），2026-07-06。
行业依据：Braintrust / Langfuse / LangSmith 官方文档；方法论 Hamel Husain · Eugene Yan · Anthropic · OpenAI eval 指南；传统质检 ANSI/ASQ Z1.4。
本页仅含行业通识与术语，无平台内部敏感数据，可安全分享。