PrismML 推出 Bonsai 27B：基于 Qwen3.6，声称 iPhone 17 Pro 本地可跑、保留 90% 智能

结论先行

AI 初创公司 PrismML 推出了基于 Qwen3.6 的多模态模型 Bonsai 27B,核心卖点是极致量化后的端侧运行能力：声称保留 90% 智能，可在 12GB 内存的 iPhone 17 Pro 上本地跑起来。

两种量化变体

Bonsai 27B 提供两个版本，走的都是「用极低比特换体积和内存」的路线：

• 3-bit 变体:采用三进制权重（ternary weights）,大小 5.9 GB,面向注重性能的用户，可在普通笔记本电脑上运行。
• 1-bit 变体:更激进的量化，进一步压缩体积与内存占用，换取在手机这类内存受限设备上的可运行性。

所谓「保留 90% 智能」,指的是相比全精度原模型，极致量化后在能力评测上的保持度——用 10% 的能力损失，换来「能装进手机」的可能。

为什么这条值得看：端侧大模型的核心矛盾

Bonsai 27B 触及的是端侧大模型最本质的一对矛盾——「模型能力」与「设备内存」的拉扯:

• 27B 参数的模型，全精度下要几十 GB 内存，手机根本装不下。
• 极致量化（3-bit、1-bit、三进制权重）是把大模型塞进手机的关键手段，但比特越低、精度损失越大。
• Bonsai 的主张（90% 智能保持 + 手机可跑）如果成立，意味着「够强又够小」的平衡点正在被推近手机。

三进制权重值得单独一提

三进制权重（每个权重只取 -1/0/+1 三个值）是近来低比特量化的热点方向——它把存储和计算都压到极致，同时通过训练/微调手段尽量挽回精度。Bonsai 把它用在 5.9GB 的 3-bit 版本上，是这一路线的一次工程实践。

需要留意

「保留 90% 智能」「可在 iPhone 本地运行」目前均为 PrismML 自身声称。极致量化模型的真实体验，取决于具体任务下的精度损失、推理速度、发热与续航——这些都需要第三方实测验证。端侧模型的「跑得起来」和「用得顺手」之间，往往还有不小的距离。