什么是「好的基准测试」？一篇 arXiv 论文提炼五条设计原则

结论先行

模型越强，评测越关键——但「刷榜」泛滥、基准失真也越严重。这篇 arXiv 论文回到根本，提炼了「好的评测任务」的五条设计原则。

五条原则

1. 正确（correct）:任务本身没有错误——题目、标准答案、判定逻辑都得站得住。
2. 可解（solvable）:任务是能被解决的，而不是无解或定义矛盾的伪问题。
3. 可验证（verifiable）:结果能被客观验证，而不是靠主观打分。
4. 明确界定（well-specified）:任务描述清楚、无歧义，不给「钻空子」和「理解偏差」留缝隙。
5. 因为有意思的原因而难（hard for interesting reasons）:难度来自问题本身的深度，而不是因为题目模糊、脏数据或纯记忆量。

一个关键判断：验证「结果」而非「方法」

论文强调，最好的任务应该验证「outcome（结果）」而不是「approach（方法）」。

• 如果评测只认某一种「标准解法」，就会惩罚同样正确但路径不同的答案，也容易被针对性地过拟合。
• 只验证「结果对不对」，才更接近真实世界——现实中没人规定你必须用哪种方法，只要问题被真正解决。

还有一条隐性标准：像真实问题

论文指出，最好的任务描述的是有经验的从业者会认可的真实问题，用从业者会用的语言。换句话说：

• 好基准不是人为编造的智力游戏，而是「一个真专家看了会点头说'对，这就是我工作里会遇到的问题'」。

为什么这对每个用模型的人都重要

• 选型:如果你依据的榜单本身设计有缺陷（不可验证、题目模糊、可刷分），那「谁更强」的结论就不可信。
• 自建评测:很多团队会为自己的场景做私有 benchmark。这五条原则，正是自建评测时避免「自欺欺人」的检查清单。
• 对抗刷榜:「验证结果而非方法」「因有意思的原因而难」，本质是在对抗过拟合与刷分——这决定了基准能否真正区分模型能力。

在「人人都在发榜、人人都在刷榜」的当下，回到「什么是好任务」这个原点，比多一个榜单更有价值。