上证报中国证券网讯(记者孙小程)7月17日,聆思科(CSCO)技亮相2026世界人工智能(885728)大会(WAIC2026),公司市场副总裁韩超阳在大会期间发表《端侧大模型推理芯片驱动AI终端范式升级》主题演讲。
聆思科(CSCO)技专攻端侧AI推理芯片,于近期完成近5亿元B轮融资。本轮融资由安徽省及合肥市多家国资平台联合领投,讯飞创投(885413)、深报一本、盈科投资、永鑫资本等跟投,多家老股东持续加注。
“AI推理需求将远超训练需求,而端侧推理需求又将远超云端推理,端侧推理市场将比云端推理市场大出一个数量级。”在接受上证报记者采访时,韩超阳认为,四条端侧AI落地方向有望率先爆发:
首先是AI PC和AI办公硬件,包括小龙虾一体盒子等形态;其次是智能座舱(886059),隐私保护和弱网环境下的需求,促使车厂积极提升端侧算力;第三是具身智能机器人,目前运动控制已较为成熟,但大脑的智力水平仍显不足,现有端侧GPU在功耗、成本和性能上均未达标;第四是智慧家庭,隐私问题曾经长期制约智慧家居AI化,后续端侧算力的提高,隐私数据不上云,有望为智能家居(885478)带来新的解法。
不过,相比于目前端侧推理市场迫切的需求,供给侧仍处于萌芽阶段,因为现有端侧芯片尚无法同时满足推理性能、功耗和成本的要求。端侧也无法直接“挪用”云端芯片,因为云端芯片追求性能优先和灵活性,端侧芯片则更关注成本和功耗。
因此,聆思科(CSCO)技两年前便开始布局端侧芯片,其自研的Nebula端侧大模型AI推理芯片计划于2026年底正式推出。Nebula单芯片可支持3B-13B LLM/VLM/VLA模型,覆盖当前多数端侧大模型应用需求;在7B模型推理场景下,可实现Decode100tok/s,并将典型平均功耗控制在5W-15W。这意味着终端设备不仅能“跑得起大模型”,更能在本地承载语言理解、多模态推理和任务规划能力。
不过,主流芯片厂商以及部分终端厂商亦在布局端侧产品,相较之下,聆思科(CSCO)技的差异化优势何在?
“我们更懂算法。”韩超阳强调,公司从成立之初便拥有算法研究院和大模型团队,所有NPU均为自研。端侧大模型落地的关键,不是单点算力补强,而是面向端侧大模型推理负载进行芯片架构设计。只有从端侧大模型算法特征、存储访问模式、算子执行效率和功耗控制机制出发,才能真正突破端侧推理在性能、功耗和成本之间的结构性矛盾。
在他看来,端侧大模型AI推理芯片不能只是在通用芯片上“打补丁”,而应当从端侧大模型算法本质出发,进行系统级架构设计。“未来的芯片公司必须比算法更前置,更早进行研发投入,因为芯片研发周期(883436)长达两三年,必须预判后续算法架构将发生怎样的演变。”
