Critic Experience Bank：面向 LLM Agent 的自演化步级置信度估计框架

核心贡献：解决 LLM Agent 中‘不可逆错误’的前置判别难题

LLM Agent 在外部环境中行动时，每一步操作都会改变状态，后续决策依赖于该新状态；单个错误步骤可能迅速耗尽交互预算或引发不可逆副作用，而最终失败往往滞后显现。因此，可靠部署亟需步级置信度估计（step-level confidence estimation）——即在动作执行前，输出一个经校准的概率，表征该动作是否有望推进任务。

现有方法的根本局限

当前 LLM 置信度估计算法（如 response-scoring 或 self-evaluation）仅基于 prompt-response 静态对进行打分，忽略执行后果：相同动作在相似情境下，是否真因环境反馈而实际推动了任务进展？这一因果闭环缺失导致置信度与真实效用脱钩。

Critic Experience Bank（CEB）架构：以 hindsight 反馈驱动 critic 自演化

• CEB 是一个由 LLM 构成的自演化 critic 框架，其核心是构建并持续更新一个结构化经验记忆库（Experience Bank）；
• 每次 agent 完成完整轨迹（trajectory）后，调用一个 hindsight LLM（可复用同一大模型，但提示中注入完整执行日志与结果反馈），对轨迹中每一步进行二元判断：“该步是否 productive？”；
• 这些 hindsight 判定生成高质量伪标签（pseudo-labels），连同上下文（state, action, environment feedback）一并存入 Experience Bank；
• 当前 critic 在评估新动作时，通过检索（retrieval）从 Bank 中召回语义相似的 productive / unproductive 经验示例，动态注入 prompt，实现上下文感知的置信度校准。

关键技术特征与价值

• 【保留信息价值·重要】方法名严格保留为 Critic Experience Bank（CEB），论文编号为 arXiv:2607.12397v1；
• 不依赖额外训练或微调，纯 inference-time 机制，兼容任意 LLM agent 架构；
• 经验银行支持跨任务迁移（cross-task generalization），因检索基于语义而非硬编码规则；
• 实验表明，CEB 显著降低无效调用（如冗余 API 请求、死循环子目标），提升长程任务成功率与资源利用率。