English
Same skill, same model. The only difference is whether it gets loaded.

UpliftBench

技能包的净增益基准。减掉安慰剂之后,还剩多少。
Agent Skills, measured against a token-matched placebo. uplift = treatment − placebo. Every row carries N and a 95% CI; the JSON behind this page is index.json.

web-guidance@1.0.0 · A级 · 自动激活模型自己决定是否触发技能(协议默认)

技能包upliftheadroomplacebo95%CI激活率N等级
addyosmani/agent-skills@301b02b +2.2pp 8.7% -4.4pp [-2.2, 6.7] 17% 30 A

web-guidance@1.1.0 · A级 · 自动激活模型自己决定是否触发技能(协议默认)

技能包upliftheadroomplacebo95%CI激活率N等级
GoogleChrome/modern-web-guidance-src@3bb177a -2.5pp ⚠️ -9.5% 0pp [-7.9, 2.5] 23% 48 A

web-guidance@1.1.0 · A级 · 强制注入技能正文直接注入 system prompt,安慰剂按等 token 对齐

技能包upliftheadroomplacebo95%CI激活率N等级
GoogleChrome/modern-web-guidance-src@3bb177a +5.6pp 15.4% -7.6pp [-2.8, 13.2] 100% 48 A

web-guidance@1.4.0 · A级 · 自动激活模型自己决定是否触发技能(协议默认)

技能包upliftheadroomplacebo95%CI激活率N等级
multica-ai/andrej-karpathy-skills@2c60614 +4.9pp 8.5% -6.2pp [-3.7, 14.8] 57% 27 B

Tier 0 · 事实查询(不排名)

技能包探针结果等级
anthropics/skills Tier 0 only · 849,607 tok · largest skill 526,405 tok · 19 skills · defer 84% · monolithic skill · 不进主榜(无任务集) —
affaan-m/ECC Tier 0 only · 109,921 tok · largest skill 12,192 tok · 47 skills · defer 6% · 不进主榜(无任务集) —
Nutlope/hallmark Tier 0 only · 409,006 tok · largest skill 409,006 tok · 1 skill · defer 100% · monolithic skill · 不进主榜(无任务集) —
op7418/Humanizer-zh Tier 0 only · 8,042 tok · largest skill 4,204 tok · 1 skill · defer 0% · 不进主榜(无任务集) —
KKKKhazix/khazix-skills Tier 0 only · 75,483 tok · largest skill 17,578 tok · 6 skills · defer 83% · 不进主榜(无任务集) —
mattpocock/skills Tier 0 only · 80,583 tok · largest skill 10,808 tok · 39 skills · defer 28% · 不进主榜(无任务集) —
obsidianmd/obsidian-skills Tier 0 only · 16,902 tok · largest skill 6,350 tok · 7 skills · defer 0% · 不进主榜(无任务集) —
cloudflare/security-audit-skill Tier 0 only · 79,967 tok · largest skill 79,967 tok · 1 skill · defer 100% · monolithic skill · 不进主榜(无任务集) —
obra/superpowers Tier 0 only · 100,774 tok · largest skill 25,738 tok · 15 skills · defer 47% · 不进主榜(无任务集) —
怎么读这张表
uplift = treatment − placebo,不是减 baseline。headroom 是填掉了多少剩余空间;placebo 列是「上下文变长本身值多少分」。
激活率 = placebo + treatment 两臂里技能真的进了上下文的 run 占比。激活率低,uplift 天然趋近 0,因为没进上下文时 treatment 就是 baseline。
自动激活与强制注入是两种实验条件,同一个技能包可能各有一行。两行不能互相比较,也不能只报好看的那个。
A 级(可执行验证)与 B 级(固定版本 judge)分组显示,不并排排名。
⚠️ 表示安慰剂效应大于净增益,分数主要来自长度。
生成于 2026-11-14T02:55:36.111Z · protocol/1.0.0