PrismML 近日发布 Bonsai 27B，一个经过高度压缩的 270 亿参数开放推理模型，大小不足 4GB，可直接在 iPhone 上运行。据 The Decoder 报道，在 PrismML 的内部基准测试中，最小版本保留了原始模型 90% 的性能，数学和编程得分几乎未受影响。苹果据称已在测试该压缩技术，这可能帮助其缩小在端侧 AI 领域的差距。
发生了什么
PrismML 通过创新的压缩方法，将 27B 参数的 AI 模型体积从通常的 50GB 以上缩减至 4GB 以下，使其能够适配 iPhone 的存储和内存限制。该模型采用开放许可，开发者可自由使用。在 PrismML 公布的评测结果中，Bonsai 27B 在数学推理和代码生成任务上表现接近未压缩版本，显示压缩并未严重损害核心能力。
为什么重要
端侧 AI 运行面临的主要瓶颈是模型体积与设备资源的矛盾。此前，类似规模的模型通常需要云端推理或高端硬件，而 Bonsai 27B 证明了在手机端运行大模型的可能性。苹果长期致力于提升设备端 AI 能力，但受限于模型大小和性能，其端侧方案常被诟病功能有限。若该压缩技术成熟，苹果可快速将更强模型部署到 iPhone 上，无需依赖网络连接，同时提升隐私保护和响应速度。
影响与看点
对开发者而言，Bonsai 27B 的开放性和小体积降低了部署门槛，可将其集成到移动应用中，实现离线推理、本地智能助手等功能。对行业而言，该技术可能推动端侧 AI 竞争，促使其他厂商跟进模型压缩。值得关注的是：压缩后的模型在更广泛任务上的表现仍需第三方独立评测；苹果是否正式采用该技术尚待确认；此外，压缩方法的具体细节尚未完全公开，其泛化性有待验证。总体来看，Bonsai 27B 是端侧 AI 实用化的重要一步，但距离全面替代云端方案仍有距离。
