我的模型消耗了大量的内存。一个包含 270 亿个参数的 AI 模型（按行业标准来看属于中等规模）需要大约 54 GB 内存才能以半精度运行。大多数笔记本电脑都无法承受这一点。有些台式机也不能。

本周早些时候，PrismML 发布了一款 3.9 GB 的产品，小到足以安装在 iPhone 上。

参数是模型可以处理的刻度盘和调整的数量。参数越多，模型越密集、能力越强。

Bonsai 27B 是第一个突破消费类智能手机内存上限的 27B 级模型，在 iPhone 17 Pro Max 上以每秒 11 个令牌的速度运行。 （令牌是人工智能模型可以处理和生成的信息的基本单位。）三元变体的容量为 5.9 GB，在 M5 Pro 笔记本电脑上每秒可处理约 26 个令牌。在 Apache 2.0 下两者都是免费的。

基于加州理工学院知识产权的压缩方法将每个模型的权重从 16 位浮点精度减少到单个符号 - 二进制构建中的 +1 或 -1，即三进制中的三个值之一。每组 128 个权重共享一个 16 位缩放因子，使二进制变体达到每个权重 1.125 位：比全精度原始值小 14 倍。三元模型添加了一个零状态，以提高表达能力，并稳定在 1.71 位。

简单来说，这意味着三元 AI 模型仅对每个内部值使用三种设置（负、零或正），而标准 AI 可以从大约 65,000 个设置中进行选择。

PrismML 做到了这一点，并且没有损失太多输出质量。

它与传统的“低位”模型的不同之处在于，没有任何东西可以获得更高精度的逃生舱：嵌入、注意力和完整的语言模型头都是端到端压缩的。大多数量化构建都以完全精度保持某些敏感层，这最终会增加其尺寸，以换取更好的质量。盆景不玩那个游戏。

这是该系列的第二个主要版本。今年 3 月，PrismML 发布了 Bonsai 8B，这是一个 1.15 GB 的模型，证明了 1 位架构可以在 80 亿个参数下生存，而不会导致推理崩溃。跃升至 270 亿是风险发生变化的地方——这种规模是持续的思想链推理、可靠的工具使用和多步骤代理行为实际上一致出现的地方——较小的模型仍然在摸索。

基准测试

在 NVIDIA H100 GPU 上以思维模式评估的 15 个基准测试（涵盖知识、数学、编码和工具使用）中，Ternary Bonsai 27B 的平均得分为 80.49，即全精度模型的 94.6%。 1 位变体达到 76.11。

总体而言，在基准测试中，就其尺寸所提供的潜力而言，这些型号的表现比 Gemma 4 或 Qwen 3.6 好得多。

这些模型对于它们所提供的功能来说相当不错，并且考虑到它们所需的资源非常少，它们将小型硬件（智能手机和低端 PC）的功能提升到了另一个水平。 AIME25 和 AIME26 以美国数学邀请考试为蓝本，Ternary Bonsai 27B 的得分为 93.7%，而更大的 Qwen 3.6B 的得分为 95.3%。 Bonsai 在 codig 中得分为 86 分，而 Qwen 3.6 为 88 分；在一般知识方面得分为 77%，而 Qwen 3.6 为 83 分。

该模型还使用混合注意力主干，其中大约 75% 的层是线性的，而不是完全二次注意力。这种架构使得 262K 令牌上下文窗口在设备上变得实用——标准的注意力堆栈在手机硬件上会变得极其昂贵。

我们测试了它

我们自己经营盆景27B。编码需要迭代：单次提示无法与云前沿模型竞争。本地化和免费使得这一点变得无关紧要。对于我们的“僵尸类型”游戏（一款第一人称打字恐怖浏览器游戏），两轮振动编码产生了清晰的碰撞检测、正确的评分逻辑和组合在一起的图形。模型较早掌握结构；第二遍是细化而不是重建。

有趣的是，一些模型（如骨骼）看起来比 GPT 5.6 Sol 中的模型更复杂。这并不意味着它更好，只是在这个任务中它产生了一个可爱的骨架，而人工智能国王做出了一个较差的风格选择。

该游戏可在此处进行测试。

创意写作是一个更合格的故事，标准也更主观。

粗略地说，如果您考虑的是零样本提示，那么结果并不是特别富有想象力。

也就是说，《盆景》所创作的故事具有一致的内部逻辑、节奏和弧线——更好，或者与克劳德俳句甚至十四行诗相当，在类似的提示下花费更少的精力。对于完全在您自己的硬件上运行且没有 API 成本的模型，有很多话要说。

它创建的故事可以在我们的 Github 存储库中找到。

PrismML 还在模型旁边附带了一个 DSpark 推测解码层，这是一个轻量级起草器，可以提出候选令牌块，主模型在单个前向传递中验证候选令牌块，而不是逐个令牌生成。在 H100 上，吞吐量增加了 1.37 倍，但输出质量没有变化，因为验证保留了精确的输出分布。在 Apple Silicon 上，它尚未默认启用，但对于 GPU 服务来说，这是一个真正的进步。

苹果的兴趣增加了商业层面。 PrismML 首席执行官 Babak Hassibi 向 CNBC 证实，该公司正在与苹果进行早期谈判，苹果正在评估该压缩技术在设备上的潜在使用情况。

Hassibi 表示，下一步将推出压缩的 Gemma 模型，然后是更大的前沿模型； 1 位 Bonsai 27B 现在可以在 Apache 2.0 下免费下载。如果您需要有关在本地运行此类模型的入门知识，请查看我们的指南。