韩国人工智能（885728）(AI)芯片初创公司FuriosaAI宣布将与博通（AVGO）(AVGO.US)达成战略合作，共同开发其第三代(下一代)AI推理加速器，目标于2028年上半年出样。

据悉，双方此次合作不再局限于传统的ASIC合作模式。该芯片将结合2nm先进制程的计算裸晶(Die)、独立的I/O裸晶、HBM4(E)内存堆栈，采用博通（AVGO）的纵向扩展以太网技术实现机架内多芯片全连接，并以机架级系统形式出货。

双方此次合作建立在RNGD的商业化成熟基础之上。RNGD是FuriosaAI面向数据中心推理场景推出的AI芯片，目前已进入量产阶段，并采用台积电（TSM）5纳米先进制程制造。RNGD是一款功耗180瓦、基于PCIe接口的AI加速器。FuriosaAI表示，RNGD已被三星SDS和LG AI Research部署，用于标准风冷数据中心的大语言模型和智能体AI工作负载。

FuriosaAI表示，其张量收缩处理器(TCP)架构针对AI计算的数学核心进行了优化。该芯片将内存访问视为首要任务，专注于高带宽数据传输和大规模张量运算，而非管理数千个细小线程。

博通（AVGO）半导体（881121）解决方案事业部总裁Charlie Kawwas表示：“推理性能不再仅仅取决于原始计算能力，它越来越取决于服务器和机架之间的数据重用和通信效率。通过将FuriosaAI的TCP架构与博通（AVGO）市场领先的XPU技术和IP平台、以太网纵向扩展和交换矩阵相结合，我们正在构建一个能够解决大规模智能体AI关键瓶颈的平台。”

与博通（AVGO）的合作延续了FuriosaAI围绕垂直整合推理基础设施构建的更广泛战略。FuriosaAI在今年早些时候把推出RNGD的努力定位为减少对英伟达（NVDA）(NVDA.US)软件生态系统依赖的更大推动的一部分。该公司首席执行官June Paik当时表示：“我们面临的挑战是用自己的软件栈替换CUDA引擎。”

与博通（AVGO）的合作将这一战略从单服务器优化扩展到机架级网络和集群架构。两家公司将这一合作定位为不仅仅是芯片层面的协作。该机架级推理平台将FuriosaAI的推理架构与博通（AVGO）以太网架构、PCIe技术、先进封装（886009）能力和AI基础设施IP相结合，实现推理集群在数千个节点上的扩展。

值得一提的是，博通（AVGO）与FuriosaAI的这一合作也反映了AI基础设施内部正在发生的更广泛转变，推理工作负载开始与推动英伟达（NVDA）崛起的训练系统分道扬镳。虽然大规模模型训练仍然严重依赖紧密耦合的GPU集群和NVLink等专有互连技术，但运营商在生产规模部署推理基础设施时越来越多地面临一系列不同的约束，包括功率密度、网络效率、内存带宽、延迟和Token吞吐量等。

HyperFrame Research网络和基础设施副总裁兼实践负责人Ron Westfall表示，大规模推理正在将AI基础设施的优先级从塑造GPU密集型训练集群的需求转移开。他表示：“大规模推理将瓶颈转向优化总体拥有成本、内存带宽和每Token功耗。”

对于博通（AVGO）与FuriosaAI的合作，Ron Westfall表示，这一合作反映了随着AI部署规模超越紧密耦合的训练系统，行业对网络效率的日益重视，“优化网络效率和机架级互连性现在与原始芯片性能一样，对推理经济性至关重要”。

此外，博通（AVGO）的以太网和PCIe技术将提供扩展大型推理集群所需的高带宽机架级连接。该架构也标志着行业在基于以太网的AI基础设施方面的增长势头，供应商正在寻找专有GPU架构的替代方案。博通（AVGO）越来越多地将自己定位为支撑大型AI集群的网络、交换和互连基础设施的核心供应商，特别是在超大规模云服务商追求定制加速器和异构计算环境的背景下。