接受前缀≠实际加速：PEFT-BD 块扩散草稿机制在 Qwen3-0.6B 上未带来推理提速

核心结论

PEFT-BD 方法在理论设计上具备多项优势（免 tokenizer mismatch、免独立草稿模型、仅增少量可训练参数、支持 BD3LM 风格并行块去噪），但实证表明其未实现推测解码的核心目标——降低端到端延迟。关键瓶颈在于计算路径冗余：每个推测步需执行两次全骨干模型前向传播（一次启用 LoRA 适配器用于草稿生成，一次禁用适配器用于验证），抵消了参数效率带来的收益。

实验设置与关键发现

• 测试模型：Qwen3-0.6B（非量化版本）
• 方法名称：PEFT-BD（arXiv:2607.12422v1），即 Parameter-Efficient Fine-Tuning based Block-Diffusion drafting
• 草稿机制：采用 LoRA-like adapter 模拟 block-diffusion 行为，以 BD3LM-style denoising objective 并行生成 token block
• 性能表现：
• ✅ 成功生成 nontrivial accepted prefixes（即部分前缀被目标模型接受）
• ❌ 端到端吞吐量/延迟无改善，甚至因双前向开销而劣化
• ⚠️ profiling 显示：draft pass 与 verify pass 均调用完整 backbone（Qwen3-0.6B），仅 adapter 开关状态不同

方法本质缺陷

PEFT-BD 是参数高效（parameter-efficient）但非计算高效（compute-efficient）的设计：LoRA 适配器虽仅引入少量可训练参数（如 rank=8, α=16），但未减少 FLOPs 或显存带宽压力；两次 full-backbone 推理使总计算量接近传统两模型方案（如 Medusa + LLaMA），却未获得相应质量增益或硬件友好性。