过去十年，我们习惯用“回答得准不准”来衡量人工智能的进步：问题丢给模型、答案对照标准解答，评分一翻两瞪眼。但这套逻辑，正在快速失效。因为AI的角色已经改变—它不再只是被动回答问题的工具，而是开始“自己做事”的行动者。从自动规划行程、调用外部工具，到在复杂任务中连续做出多个决策，新一代AI正逐步接手原本由人类完成的工作流程。
没有标准答案的世界，考试为何行不通问题也随之而来：如果AI不只是产生一句回复，而是完成一整件事情，我们还能用考试式的对错标准来评估它吗？当一个任务没有唯一解法，甚至AI可能用“不在预期内、却更有效”的方式达成目标，传统的评测方法反而可能把成功判成失败。这不只是工程上的细节，而是一个制度性的难题—评估方式，正在决定AI会学会解决问题，还是只学会迎合规则。
评估的重心，正从结果转向过程为了解决这个问题，AI研究圈近年开始出现一个共识：评估AI，不能只看结果，而必须检视它“怎么做到的”。在最新的研究与实务经验中，评测的重心逐渐从单一答案，转向整个行动过程—AI如何理解任务、如何拆解步骤、何时呼叫工具、是否能在环境变化时调整策略。换言之，AI不再只是被打分的考生，而更像是一位正在执行任务的助理，而评估系统，则必须能判断它是否真的朝正确目标前进，而不是只检查有没有照表操课。这样的转变，也意味着“评估”本身，正在成为AI能否安全走向实际应用的关键门槛。
一场AI评测，其实是一个行动实验在这样的背景下，包含Anthropic在内的研究团队，开始把“一场AI评测”视为一个完整的行动实验，而非单一道题目。实务上，研究人员会先设计一个需要多步骤决策与工具配合的任务场景，让AI从头到尾自行完成，并完整记录它的每一次判断、每一次行动与策略修正。这段过程，就像是一场被全程录影的实作考试。
真正的评分，发生在任务结束之后评测系统会回头检视这份完整的行动纪录，判断AI是否达成“真正的目标”，而不只是是否遵循原先设计好的流程。为了避免单一标准失准，评估通常结合多种方式：能以程式规则判断的部分交由自动化系统处理，需要理解语意与策略意图的部分，则由另一个模型协助评分，必要时再引入人类专家进行校准。这样的设计，正是为了回应一个现实情境——当AI的解法开始比人类原本设计的流程更灵活，评测系统本身，也必须能理解“成功不只一种样貌”。
评测不是量尺，而是在塑造AI的行为方向然而，评测设计本身也隐含风险。因为评测其实同时在训练AI“该变成什么样子”。如果评估标准过度强调流程合规，AI可能会学会冗长但安全的解法；若只看结果、不问过程，系统则可能倾向钻漏洞、走捷径，甚至采取人类未必能接受的策略。评测从来不是中立的量尺，而是一套隐性的价值指引，一旦方向偏差，就可能把AI推向“分数很高、行为却失控”的状态。
错误优化：AI不是变笨，而是更擅长做错事这也是研究圈近年高度警惕“错误优化”问题的原因：当模型被反复强化在错的评分目标上，它不会变笨，反而会变得更擅长把错的事情做到极致。而这类偏差往往不会立即显现，只有在AI被部署到真实世界、承担更多责任后，后果才逐渐浮现。此时，问题已不再只是产品品质，而是安全、责任与信任是否还站得住脚。
为什么这不只是工程师的问题对一般人而言，AI评测听起来或许像是工程师之间的技术细节，但它实际影响的，是我们未来是否会被一个“看似聪明、却被教歪的系统”所左右。当AI开始替人安排行程、筛选资讯、执行交易，甚至介入公共与个人层面的决策时，评估它“做得好不好”的方式，就不再只是模型排名，而是攸关可靠性、可预期性与信任能否建立的基础。AI会成为值得依赖的助理，还是只会迎合规则的黑箱系统，往往在评测标准被写下的那一刻就已经埋下伏笔。正因如此，当AI开始自己做事了，如何评估它，已不只是科技圈的内部问题，而是每一个即将与AI共存的人，都无法回避的公共议题。
这篇文章AI开始自己做事了，Anthropic解释：人类该怎么评估它做得好坏？最早出现于链新闻ABMedia。
