论文：当机器遗忘遇上 RAG——不动模型，靠改外部知识库“模拟遗忘”

问题：大模型会“记住”敏感信息

ChatGPT、Gemini 等大模型展现了强大生成能力，但训练中可能无意学到并保留敏感信息与有害内容，带来伦理与法律风险。为此，“机器遗忘（machine unlearning）”被提出作为解法，但现有方法常受限于计算开销大、适用面窄，或有灾难性遗忘的风险。

方法：改知识库，而非改模型

这篇论文（arXiv:2410.15267）提出一个基于 RAG（检索增强生成） 的轻量行为遗忘框架：不直接与被遗忘的 LLM 交互，而是通过修改 RAG 的外部知识库来模拟“遗忘”的效果。作者把“构造被遗忘知识”这一过程建模为一个约束优化问题，并推导出支撑 RAG 遗忘有效性的两个关键组件。

价值：尤其适配闭源大模型

这一思路的最大意义在于：对闭源 LLM（无法改权重、现有遗忘方法常失效）特别有效——把“遗忘”从“改模型”降维成“改外部知识库”，绕开了对模型内部的直接干预。在数据合规（如被遗忘权、敏感信息下架）压力日增、而大量应用又建在闭源大模型 + RAG 之上的当下，这是一条工程上更可落地的“遗忘”路径。