据知情人士透露,人工智能(885728)初创公司 PrismML 已将阿里巴巴(BABA)(BABA.US)的开源大语言模型 Qwen 3.6 进行压缩,使其能够在苹果(AAPL)(AAPL.US)的 iPhone 17 Pro 上运行。
知情人士的话指出,苹果(AAPL)公司已与 PrismML 举行了会议,讨论如何使用其技术。
该模型拥有 270 亿(27B)参数,而参数量可以帮助确定模型能够处理的数据的复杂程度。相比之下,大多数在手机上运行的模型一次只有几十亿个参数处于激活状态。
最大的人工智能(885728)模型参数量可达数万亿,目前体量依然太大,无法在移动设备上运行。然而,据该初创公司称,PrismML 成功在 iPhone 上运行的这款模型能够执行复杂的对话、推理、完全自主的智能体(agents)以及软件代码编写等任务。报道补充称,该开源模型将于下周二开放下载。
PrismML 利用一种数学技巧将 Qwen 3.6 模型的体积缩小到原始大小的一小部分。通常情况下,缩小模型会导致性能下降,但该公司声称其微型化人工智能(885728)模型的方法并不会损害其性能。据报道,PrismML 已将 Qwen 3.6 的体积从约 54 兆字节(GB)压缩至不足 4 兆字节(GB)。
这一里程碑事件反映出一种更广泛的趋势,即推动人工智能(885728)在设备端运行,而不是在数据中心昂贵的高功率服务器上运行。微软(MSFT)(MSFT.US)、亚马逊(AMZN)(AMZN.US)、Meta(META) Platforms(Meta(META).US)等公司正投资数千亿美元建设数据中心,以满足它们预期中对人工智能(885728)的需求。
然而,苹果(AAPL)在很大程度上对这场数据中心竞赛保持了旁观态度,同时它也是坚定的倡导者,确保 iPhone 的许多人工智能(885728)功能尽可能在设备端(而非云端)运行。
PrismML 的方法可能会吸引苹果(AAPL)。在今年 6 月的公司全球开发者大会(WWDC)上,苹果(AAPL)宣布了基于谷歌(GOOGL.US)Gemini 模型的 Siri 全面翻新。Siri 最先进的部分体量依然过于庞大,以至于苹果(AAPL)需要使用在谷歌云中运行的英伟达(NVDA)(NVDA.US)芯片。作为新 Siri 发布内容的一部分,苹果(AAPL)指出 iPhone 的一些新 AI 功能将在设备端运行。
苹果(AAPL)的一款全新端侧模型拥有 200 亿(20B)参数,但采用了所谓的稀疏架构(sparse architecture),其中一次只有 10 亿到 40 亿(1B 到 4B)个参数处于激活状态。知情人士补充称,而在 PrismML 的端侧模型中,所有 270 亿个参数都是同时激活的。
作为 OpenAI 的第一家风险投资人,柯斯拉风投(Khosla Ventures)在今年早些时候投资了 PrismML 1625 万美元的种子轮融资。
PrismML 是加州理工学院的衍生公司,其首席执行官是巴巴克·哈西比。哈西比是该校的电气工程教授,他和联合创始人进行了该初创公司技术所使用的数学研究。报道指出,加州理工学院拥有该技术背后的专利,但将其独家授权给了 PrismML。
