AI推理时代到来,华为高管详解AI记忆存储如何实现降本增效

2026-09-22 20:53:17
作者:郭玟君
分享

【导读】AI推理时代到来,华为推出OceanStor M900AI记忆存储——与昇腾超节点匹配,为大规模数据中心推理提供最优选择

在9月17日举行的华为全联接大会2026上,华为副董事长、轮值董事长汪涛宣布,华为公司推出基于灵衢的AI记忆存储——OceanStor M900。

华为在当下推出该产品有何战略考量?如何助力用户降本增效?带着这些问题,记者采访了华为公司相关负责人。

OceanStor M900与昇腾超节点匹配

应对AI推理时代多方面挑战

关于华为公司在当下推出OceanStor M900AI记忆存储的战略考量,华为方面表示,当前,AI产业已先后跨越算力、模型、智能体平台三个时期,进入以数据决胜的关键阶段。数据规模和质量直接决定AI发展速度与能力上限,存储如何在AI推理中发挥最大价值,已成为产业共同思考的核心命题。

面对AI推理所遇到的瓶颈,汪涛在主题演讲时介绍,Agent应用的深入,不只是有并发的挑战,长序列和长程任务也会出现巨大的变化。眼下AI序列的长度已经从4K提升至1M,增长250倍。在长程任务中,Agent与模型的交互频次也远高于会话中的人与模型的交互。Agent的长序列和高频次的交互使得每张生成卡所对应的KV缓存会达到TB级,并且还在持续增长。

在采访中,华为分布式存储领域总裁杨文道表示,随着头部大模型逐步走向成熟,AI应用加速规模化落地。人们开始思考:“我购买AI大模型和Agent,可以帮我做些什么工作?”模型推理已超越模型训练,成为用户侧的核心诉求。

杨文道指出,超节点已成为产学研各界在AI基础设施领域的共识方向。OceanStor M900AI记忆存储通过与昇腾超节点适配,可以更好地支持大规模数据中心做好推理。

据介绍,上一代产品上市后,华为联合多家客户实测验证,效果非常好;此次OceanStor M900的推出,既是市场所需,也是技术迭代演进的必然。华为会加快该产品的上市节奏,并尽快用到真实业务中去。

OceanStor M900多层KV缓存架构

保障高命中率和长稳可靠

那么,OceanStor M900AI记忆存储又是如何提升推理效率与使用寿命的呢?

当前业界AI推理场景出现了多层KV缓存架构:

L1层是NPU芯片中的显存池,特征是带宽超大(TB级)、时延极低(纳秒级)、存储空间为百GB级。

L2层是内存池,它的时延与显存相近,但带宽低了一个数量级。

L3层是主机里的SSD盘,它通过PCIe和主机CPU互联,访问时延为30—120微秒,访问带宽为10GB/秒。

L3.5层是全局型的记忆系统,访问时间为15—50微秒,访问带宽可以达到40GB/秒。

据汪涛介绍,AI服务器中的显存和内存的存储空间存在物理上限,这就需要在超节点内或集群中来构建系统层面PB级的KV缓存。华为推出的OceanStor M900AI记忆存储正是聚焦3.5层,基于灵衢总线(UnifiedBus,是华为提出的系统级统一互联总线技术,核心目标是用一套协议取代传统多层协议栈,让数万张算力卡像一台计算机一样协同工作),支持超节点的NPU一跳直通到SSD,访问时延由ms级降至60μs,缩短90%;单集群可提供40TB/s聚合访问带宽,相比业界方案提升1.5倍。

这个技术的优势在于,业界通常GPU或NPU访问SSD池需要5次数据搬运,华为的OceanStor M900AI记忆存储只需要1次数据搬运,因此可避免协议转换和CPU转发。

同时,华为的OceanStor M900AI记忆存储采用了混合介质和优化的Retention算法,可将SSD的读写寿命提升16倍,从底层来保障KV缓存的高命中率和长稳可靠。

昇腾超节点+灵衢网络+AI记忆存储

提供完整堆栈基础设施

谈及OceanStor M900AI记忆存储的目标客户和主要应用场景,杨文道告诉记者:“宽泛来说,所有使用AI的客户都能用到该产品,其中推理场景的价值最为突出。”

杨文道表示,搭载OceanStor M900AI记忆存储,Token的命中率可提升一倍,显著提升客户的投入产出比;而首Token时延降低,则可显著提升用户体验。

除此之外,OceanStor M900主要是配套使用了灵衢网络的超节点,华为希望这种提供完整堆栈的基础设施,昇腾超节点+灵衢网络+AI记忆存储,从算力、存力、运力的角度整套交付,给世界一个更优的可选项。

免责声明:风险提示:本文内容仅供参考,不代表同花顺观点。同花顺各类信息服务基于人工智能算法,如有出入请以证监会指定上市公司信息披露平台为准。如有投资者据此操作,风险自担,同花顺对此不承担任何责任。
homeBack返回首页
不良信息举报与个人信息保护咨询专线:10100571违法和不良信息涉企侵权举报涉算法推荐举报专区涉青少年不良信息举报专区

浙江同花顺互联信息技术有限公司版权所有

网站备案号:浙ICP备18032105号
证券投资咨询服务提供:浙江同花顺云软件有限公司 (中国证监会核发证书编号:ZX0050)
AIME