两种评审方法评同一个 skill，
谁评得更准

怎么测的

designing-agent-skills 和 better-skill 都是让 AI 审查 skill 质量的方法，human-writing 是被审查的那个 skill。三个评审互相看不到对方，也看不到评判标准。为了判断两种方法到底有没有带来增益，同场放了一个不用任何方法的对照组。

1. 同一句任务

   三个子代理拿到同一句话：给 human-writing 打分评审，先别改文件。

2. 三种方法各跑一次

   一个照 designing 的流程，一个照 better-skill，一个什么方法都不用。

3. 盲评员逐条核实

   三份报告随机编号，盲评员对照文件核实每条发现，并用 40 多句测试句实测脚本。

4. 揭开编号再下结论

   评判标准在派出评审之前就已定好并落盘，结论只按这些标准来。

事先定好的 7 条评判标准

• 发现是否属实，行号是否对得上
• 有没有把作者拍板过的判断当成缺陷
• 分数是否说得清怎么来的
• 有没有别人没提到、又真有用的发现
• 有多少照表填空的噪音
• 严重度是否定得恰当
• 评完之后 human-writing 是否原样未动

谁说的是真的

盲评员把每份报告里的每条发现都对照原文件核了一遍，脚本相关的说法用测试句实测。designing 的 15 条全部成立。对照组发现最多，但有 4 条只部分成立、1 条错了。

“这个分数是综合判断，不是测量值。”

谁看见了什么

把三份报告的发现按问题去重合并，就能看出各自的视野。9 个问题三份都看到了，其余的各有独家。分量最重的一条独家发现来自对照组，示范段落在教 skill 自己禁掉的写法。

矩阵按问题合并，一份报告里的一条可能拆进几行，所以点数和上一张图的条数不完全相等。点开每个标记能看到核实依据。

“示范里至少有 4 处正是这个动作，检查脚本一处都查不出来。”

严重度定得准不准

同一个问题，三份报告定的级别差得很远。对照组倾向往重了定，把两处 P1 定成了 P0。designing 倾向往轻了定，两处在它自己实测里明显扣分的问题仍只给 P2。better-skill 定得最稳。

分数从哪里来

三份报告给 human-writing 打的分口径各不相同，不能直接横比。值得看的是分数能不能复算。

“先按 5 项打 1 到 5 星，再折算成整体判断，两者之间没有固定公式。”

评审顺手做的写作实验

三个评审都自己派了写作代理，同一道题让带 human-writing 和不带的各写一篇，再交给盲评。七道题合起来看，human-writing 在守住禁令这件事上稳定有效，写得好不好则互有胜负。

花了多少

三次评审的成本在同一量级。designing 的工具调用最多，用时最短。

盲评员另用了 164 千 token、10.4 分钟。回执没有说明上面的数字是否包含各评审派出的写作实验。

两套方法差在哪

designing 今天已经吸收了 better-skill 的报告形状和修改纪律，标出来的几格就是吸收来的。其余部分两者的思路相反，一个看证据，一个照清单。

这次评审对 human-writing 有什么用

经盲评员核实属实的问题，大部分可以直接动手修，只有 3 条要作者先定。下面先看现场复跑的证据，冒号豁免的口子开得太宽。

EXEMPT_COLON_PATTERNS = (
    # 剧本人物名后的冒号：短标签，且不含常见转述动词，避免把“他说：”一类叙述句误判成台词格式。
    re.compile(
        r"(?:^|\n)[^\n#：:，。！？!?说道讲问答喊叫念写想笑叹骂哭]{1,6}：",
        re.MULTILINE,
    ),

这份报告的局限

• 每种配置只跑了 1 次，没有测重复运行的波动。
• 盲化不完全，「必修 P0-1」「四层扫描」这类检查表用语会透露来源。
• designing 已经吸收了 better 的报告模板，比的其实是「designing 加模板」对「better 单独用」。
• 被评对象只有 human-writing 一个 skill。
• 三个评审各自的写作实验题目不同、各跑 1 次，只能看方向。
• 回执没有说明用量是否包含各评审派出的写作实验，成本只作量级参考。

三份评审原文、盲评员的逐条核实记录和两套方法的逐项对比，都保存在作者的本地知识库，需要核对可以向作者索取。