PFAdapter：面向个性化联邦多模态大语言模型的分层LoRA分解方法

核心贡献

PFAdapter提出一种分层LoRA（Low-Rank Adaptation）分解机制，首次在联邦多模态大语言模型（MLLM）场景下实现全局语义一致性与本地个性化能力的协同优化。该框架不依赖传统统一参数聚合，而是按注意力模块功能对LoRA参数进行语义驱动的分离设计。

技术路径

• Query与Key投影的LoRA权重被划归为全局共享组件，由服务器统一聚合更新，用于建模跨客户端的通用多模态语义（如视觉-语言对齐关系）；
• Value与Output投影的LoRA权重则保留在本地私有组件，仅在边缘设备上独立更新，专用于适配设备特有数据分布（如特定摄像头视角、传感器噪声模式或用户交互习惯）；
• 整体通信量仅需传输Query/Key相关低秩矩阵，理论通信开销较全参数FedAvg降低约63%（基于arXiv:2607.12111v1实验设定）。

问题定位

现有联邦协议（如FedAvg、FedProx）在MLLM场景下面临双重瓶颈：一是统一聚合导致域不变特征（domain-invariant features）与客户端特有细节（client-specific nuances）混叠，损害个性化效果；二是高维多模态模型参数频繁上传下载，加剧边缘网络带宽压力。PFAdapter直击此矛盾，以模块化参数分解替代粗粒度权重平均。