Ternary Bonsai 2 系列 AI 模型登场:苹果 iPhone 18 Pro Max 上本地吞吐最高每秒 120 个词元利好

2026-10-16 14:39:31
来源:IT之家
分享
AIME

问财摘要

1、AI公司PrismML推出Ternary Bonsai2系列模型,共有2B、4B和9B三种规模,目标在手机、PC以及可穿戴设备上本地运行AI智能体,执行推理、识图、调用工具等能力。 2、Bonsai2系列强调本地智能体的实用性:遵循指令、完成日常任务、在移动设备上调用工具、避免重复输出等。 3、该系列可与已有的Bonsai227B组成从轻量任务到复杂工作流的完整产品线。
免责声明 内容由AI生成
文章提及标的

IT之家10月16日消息,AI公司PrismML昨日(10月15日)发布博文,宣布推出Ternary Bonsai2系列模型,共有2B、4B和9B三种规模,目标在手机、PC以及可穿戴设备上本地运行AI智能体(886099),执行推理、识图、调用工具等能力。

Ternary Bonsai2系列模型基于阿里的Qwen3.5基座构建,采用“三元”权重表示法,即仅用-1、0、+1三种数值编码模型参数。官方称,2B、4B、9B模型的存储占用分别约为0.43GB、0.95G(885556)B和2GB。

在能力上,Bonsai2系列强调本地智能体的实用性:遵循指令、完成日常任务、在移动设备上调用工具、避免重复输出等。官方在19项基准上测试了智能工具调用、数学、指令遵循、编程、知识与推理、视觉理解六类能力;其中9B模型在标准指令执行和日常数学任务中,所需token数量约减少40%。

性能方面,PrismML表示,在RTX4090和M5Pro等硬件上,新模型相较对应全精度模型可实现最高5倍吞吐量和3倍能效;在iPhone18Pro Max上,9B模型最高可达每秒34个词元,2B模型最高可达每秒120个词元。IT之家附上相关截图如下:

该系列可与已有的Bonsai227B组成从轻量任务到复杂工作流的完整产品线。开发者可通过llama.cpp在NVIDIA GPU上运行,也可通过MLX在Mac、iPhone和iPad上部署;模型权重以Apache2.0许可证开放。

免责声明:风险提示:本文内容仅供参考,不代表同花顺观点。同花顺各类信息服务基于人工智能算法,如有出入请以证监会指定上市公司信息披露平台为准。如有投资者据此操作,风险自担,同花顺对此不承担任何责任。
homeBack返回首页
不良信息举报与个人信息保护咨询专线:10100571违法和不良信息涉企侵权举报涉算法推荐举报专区涉青少年不良信息举报专区

浙江同花顺互联信息技术有限公司版权所有

网站备案号:浙ICP备18032105号
证券投资咨询服务提供:浙江同花顺云软件有限公司 (中国证监会核发证书编号:ZX0050)
AIME