聆思科技韩超阳:端侧推理市场将比云端大一个数量级 四大场景将率先爆发

2026-07-18 16:40:52
分享
AIME

问财摘要

1、聆思科技市场副总裁韩超阳在2026世界人工智能大会上发表演讲,预测端侧AI推理市场需求将比云端大一个数量级,并提出了四个端侧AI落地方向。 2、聆思科技自研的Nebula端侧大模型AI推理芯片计划于2026年底推出,可支持3B-13B LLM/VLM/VLA模型,覆盖当前多数端侧大模型应用需求。 3、韩超阳强调,聆思科技的差异化优势在于更懂算法,从端侧大模型算法特征、存储访问模式、算子执行效率和功耗控制机制出发,突破端侧推理在性能、功耗和成本之间的结构性矛盾。
免责声明 内容由AI生成
文章提及标的
人工智能--
创投--
思科--
智能座舱--
智能家居--
周期--
查看股票机会,下载客户端

上证报中国证券网讯(记者孙小程)7月17日,聆思科(CSCO)技亮相2026世界人工智能(885728)大会(WAIC2026),公司市场副总裁韩超阳在大会期间发表《端侧大模型推理芯片驱动AI终端范式升级》主题演讲。

思科(CSCO)技专攻端侧AI推理芯片,于近期完成近5亿元B轮融资。本轮融资由安徽省及合肥市多家国资平台联合领投,讯飞创投(885413)、深报一本、盈科投资、永鑫资本等跟投,多家老股东持续加注。

“AI推理需求将远超训练需求,而端侧推理需求又将远超云端推理,端侧推理市场将比云端推理市场大出一个数量级。”在接受上证报记者采访时,韩超阳认为,四条端侧AI落地方向有望率先爆发:

首先是AI PC和AI办公硬件,包括小龙虾一体盒子等形态;其次是智能座舱(886059),隐私保护和弱网环境下的需求,促使车厂积极提升端侧算力;第三是具身智能机器人,目前运动控制已较为成熟,但大脑的智力水平仍显不足,现有端侧GPU在功耗、成本和性能上均未达标;第四是智慧家庭,隐私问题曾经长期制约智慧家居AI化,后续端侧算力的提高,隐私数据不上云,有望为智能家居(885478)带来新的解法。

不过,相比于目前端侧推理市场迫切的需求,供给侧仍处于萌芽阶段,因为现有端侧芯片尚无法同时满足推理性能、功耗和成本的要求。端侧也无法直接“挪用”云端芯片,因为云端芯片追求性能优先和灵活性,端侧芯片则更关注成本和功耗。

因此,聆思科(CSCO)技两年前便开始布局端侧芯片,其自研的Nebula端侧大模型AI推理芯片计划于2026年底正式推出。Nebula单芯片可支持3B-13B LLM/VLM/VLA模型,覆盖当前多数端侧大模型应用需求;在7B模型推理场景下,可实现Decode100tok/s,并将典型平均功耗控制在5W-15W。这意味着终端设备不仅能“跑得起大模型”,更能在本地承载语言理解、多模态推理和任务规划能力。

不过,主流芯片厂商以及部分终端厂商亦在布局端侧产品,相较之下,聆思科(CSCO)技的差异化优势何在?

“我们更懂算法。”韩超阳强调,公司从成立之初便拥有算法研究院和大模型团队,所有NPU均为自研。端侧大模型落地的关键,不是单点算力补强,而是面向端侧大模型推理负载进行芯片架构设计。只有从端侧大模型算法特征、存储访问模式、算子执行效率和功耗控制机制出发,才能真正突破端侧推理在性能、功耗和成本之间的结构性矛盾。

在他看来,端侧大模型AI推理芯片不能只是在通用芯片上“打补丁”,而应当从端侧大模型算法本质出发,进行系统级架构设计。“未来的芯片公司必须比算法更前置,更早进行研发投入,因为芯片研发周期(883436)长达两三年,必须预判后续算法架构将发生怎样的演变。”

免责声明:风险提示:本文内容仅供参考,不代表同花顺观点。同花顺各类信息服务基于人工智能算法,如有出入请以证监会指定上市公司信息披露平台为准。如有投资者据此操作,风险自担,同花顺对此不承担任何责任。
homeBack返回首页
不良信息举报与个人信息保护咨询专线:10100571违法和不良信息涉企侵权举报涉算法推荐举报专区涉青少年不良信息举报专区

浙江同花顺互联信息技术有限公司版权所有

网站备案号:浙ICP备18032105号
证券投资咨询服务提供:浙江同花顺云软件有限公司 (中国证监会核发证书编号:ZX0050)
AIME