MAGE：多组件提示优化中的稳定性-性能权衡研究

核心发现：提示优化耦合效应（POCE）

MAGE（Memory-Augmented Goal-directed Prompt Evolution）是一个受控分析框架，用于系统研究提示优化中各组件的交互机制。它整合了情景记忆（episodic memory）、多目标帕累托选择（Pareto selection）和自适应评估（adaptive evaluation），但并非旨在成为绝对最优的提示优化器，而是作为可控消融实验平台。

• 实验首次发现并命名‘Prompt Optimization Coupling Effect’（POCE）：当多个随机优化信号（如基于失败的反思、记忆检索、多目标筛选）共存于一个闭环反思回路时，其联合行为既显著提升任务性能，又同步放大输出方差——该现象无法通过孤立分析任一组件预测。

关键实证结论

• 失败驱动反思是必要前提：仅依赖标量评分反馈的 OPRO 方法，或仅生成抽象文本批评的 Self-Refine 方法，在 GSM8K-Hard 上均未实现提示质量提升；而 MAGE 的失败案例驱动反思机制被证实为性能跃升的关键杠杆。

• 性能与方差的协同变化：在 GSM8K-Hard 基准上，MAGE 达到 46.4% 准确率，显著优于 GEPA 的 34.0%（+12.4%，P(MAGE>GEPA)=0.998，5 次 gpt-4o-mini 种子实验），且方差控制良好（7.3% vs GEPA 的 7.1%），验证 POCE 下性能增益不以失控波动为代价。

方法论定位

• MAGE 不是端到端优化工具，而是面向提示工程基础研究的可控实验平台：所有组件（episodic memory、Pareto selection、adaptive evaluation）均可独立启用/屏蔽，支持精确归因分析。
• 论文发布于 arXiv:2607.11944v1，属 LLM 提示优化方向的基础性机制研究。