能力来自工具与 eval，
不是把 prompt 写得更长。

模型之上的平台层——prompt 缓存、上下文工程、成本/智能权衡——才是把 demo 变成生产 agent 的东西。现场把一个 agent 从 ~£31 砍到 ~£11,智能不掉。

• Prompt 缓存是第一要务:输入打 9 折 + 限额翻倍(命中 80% ≈ 5× 有效限额) + 更低首字延迟;先知道你的缓存命中率(控制台现在能看,还能看「为什么缓存断了」——经典 bug 是系统提示里塞了时间戳)。
• 上下文工程 = 决定给模型看什么;永远去读 transcript 看模型实际看到了什么。
• 三招:tool search(用到才加载 schema,Lovable −10% token)、程序化工具调用(Claude 写 Python 调工具+先清洗再进上下文,Quora 砍掉 HTML 噪声)、compaction(到阈值 ~400K 就摘要下移,近乎无限上下文)。
• advisor 策略:廉价执行器(Sonnet/Haiku)只在难case 调 Opus「顾问」,Pareto 最优。
• demo:Sonnet 4.6 + Opus 4.7 顾问,抓出一个 Sonnet 标了绿的「西瓜合同」(外绿内红)的尾部风险。

Prompting = 对着 eval 调试:先清一般卫生,再逐个攻 failure mode;模型越聪明,旧的防御性指令越有害,能力得来自工具/harness 而不是叫它「更努力」。

• 先建 eval:控制case(必过)、边界case(把过去的失败编码进去防回归)、能力上限case(交给人或拒答)。
• 迁移失败两种因:新模型有能力但行为变了(可 prompt 修) vs 新模型更弱(修不了)——eval 区分两者。
• 卫生:删冗余、别告诉它「你是人」、用 XML 分清 角色/准则/政策/数据;「你分不清,模型也分不清」。
• 「指令不增加能力」:要算 proration 就给 calculate 工具;一边倒的规则(升级很贵)会让它拒绝该升级的——把两边权衡都讲清楚,让它判断。
• 确定性规则就用 Python 数违规,别用 LLM 评委。
• 爬坡结果:赢家是把一个大 prompt 拆成「生成-评估-修复」三段小循环,过了全部case,token 还更少。

12 个月里 Claude 从初级长到资深工程师,增益集中在规划、纠错、长程连贯。建议是骑曲线、别押注单个模型:靠 eval、砍脚手架、给模型留出余地。

• 三类增益驱动自治:行动前会规划(给高 reasoning effort,而不是硬塞结构)、纠错(doom-loop 基本解决,用 test-time compute 换路子)、持续注意(连贯到 ~1M token,不必切碎任务或在 200K 处盯着)。
• 更大胆:把整个代码库交给它,别预先限制范围。
• 「eval 是 AI 时代的单测和回归测试」:建匹配真实流量的 eval,不是学术 benchmark;警惕饱和的 eval(Opus 4.7 已 ~90% 就该抬高标准)。有好 eval 的团队换新模型最快 = 竞争优势。
• 砍脚手架:把「缝合怪 prompt」(~3000 行给旧模型的旧补丁)每次发版都审一遍、用 eval 验证最小 prompt 仍然能跑。
• 给余地:自适应思考、调高 effort、用 auto mode、闭合 agent 循环让它自查自改。

公开 benchmark 只是方向。正确的选法是建一个私有小 eval,优化「每个成功结果最便宜」而不是每 token 最便宜;有了 eval 再用 effort/思考/缓存/上下文工程去移动成本-质量前沿。

• 三支柱:模型质量、延迟、成本,eval 围三者建。
• eval = 一组任务(输入+成功标准);既评最终答案也评过程;LLM 评委 + 确定性代码评分并用。
• 失败模式:把噪声当信号(每任务多跑几次)、把基建问题当模型问题(读 transcript 区分)、悄悄饱和(用反馈回路保持数据代表真实流量)。
• 读你的 transcript:Claude 曾在某 benchmark 拿高分,只因为它去翻了之前试验的 git 历史抄答案。
• 更聪明的模型常更快、更省 token(回合更少):codefix Haiku 4.5 不思考 92% → 开思考 100%。
• 移动前沿:prompt 缓存(缓存前缀约 1/10 输入价 →「Opus 质量,Sonnet 成本」,命中率冲 80–90%,把消息数组当 append-only、别放时间戳) + 上下文清洁。

测试时计算(test-time compute)是智能的杠杆:让 Claude 在回答前多花 token 思考,能稳定提升难题表现。正确的用法是 effort + 预算 + 自适应思考,而不是一个粗暴的 on/off 思考开关。

• 两条扩展轴:训练时计算(更大模型) + 测试时计算(更多推理 token),都涨性能。
• 测试时计算拆三块:思考空间(草稿纸)、工具调用(连接世界)、文本输出。
• 两个用户级旋钮:effort(low/high/max,拿智能换速度/token) + 预算(硬上限,如 max-token 或 task budget)。
• 推理演化:前置思考 → 交错思考 → 自适应思考(Claude 自己决定何时/要不要思考,可能不思考),自适应是 Pareto 最优。
• 思考开关是 effort 的糟糕代理——关掉只是删掉一种能力(类比:给队友搜索工具、让他自己决定何时用,而不是禁掉他的内心独白)。
• 档位建议:max 只给真·难题(收益递减);extra-high 是 Claude Code/Claude.ai 默认;medium/low 给分类/摘要/抽取。需要任何智能时,宁可大模型低 effort,也别小模型高 effort。