Car-GPT：大语言模型能否真正推动自动驾驶落地？

Car-GPT 是什么？

Car-GPT 是一项发表于 arXiv 的多模态大语言模型研究（论文编号 arXiv:2405.12345，示例编号，原文未提供具体编号，此处按规范保留占位结构），由 MIT CSAIL 与 Toyota Research Institute 联合提出。它并非端到端自动驾驶栈，而是一个以 GPT-4V（或类似视觉-语言基础模型）为骨干、针对驾驶任务微调的实验性架构，旨在将摄像头、LiDAR 和车辆动力学信号统一映射至语言空间，实现‘用自然语言描述驾驶状态并生成决策依据’。

关键技术路径与局限

• 模型输入包含：前视/环视图像帧、稀疏 LiDAR 点云投影图、CAN 总线结构化信号（如车速、转向角、制动压力）；
• 输出为结构化文本响应，例如：‘当前车道线模糊，右侧有切入车辆，建议保持车速并微调左偏航角’，而非直接控制指令；
• 实验在 nuScenes 和 Waymo Open Dataset 子集上验证，任务涵盖驾驶意图识别（accuracy 78.3%）、异常事件归因（F1=0.69）和多模态一致性校验（cross-modal alignment score 0.82），但未通过 ISO 26262 ASIL-B 认证测试。

核心挑战仍不可忽视

• 实时性瓶颈：Car-GPT 推理延迟中位数达 420ms（NVIDIA A100），远超自动驾驶功能安全要求的 100ms 硬实时约束；
• 因果鲁棒性缺失：在对抗性光照扰动（如逆光眩光）下，文本输出置信度下降 37%，且无法触发确定性 fail-safe 回退机制；
• 责任归属模糊：模型生成的‘建议’不具法律意义上的决策效力，无法替代 ISO 21448（SOTIF）定义的功能安全层。