“
大模型应用正在从“能用”走向规模化部署。企业知识问答、智能客服、研发助手、工业运维等业务落地后，客户开始关注的不再只是模型效果，还有更直接的业务体验：复杂问题能否处理更长上下文、首Token响应够不够快、高并发下生成是否稳定，以及增加GPU后吞吐能否同步提升。
当推理运行在单机内部时，大部分数据交换可以依靠GPU内部高速互联完成，但随着模型规模、并发量和上下文长度持续增加，推理系统逐渐走向多机多卡，并开始采用P/D分离、专家并行等架构，越来越多的数据需要跨节点传输。此时，网络已经不只是连接服务器的基础设施，而开始成为影响推理性能和业务体验的关键因素。
一
推理规模扩大后
网络面临三类典型压力
1
Scale-out通信：GPU增加，不等于性能线性增长
模型跨越多台服务器部署后，TP、PP、EP等并行方式会产生AllReduce、AllGather、ReduceScatter、All-to-All以及点对点通信。相比机内NVLink/NVSwitch等Scale-up互联，跨服务器Scale-out网络不仅可用带宽更加有限，也需要经过更多网络设备和链路。
如果多路径利用率不足或出现热点链路，部分GPU就会因为等待通信而进入空转。此时继续增加GPU，增加的仅是理论算力而不一定是等比例的有效算力。
GPU决定算力上限，而Scale-out网络决定这些算力能否高效协同。只有更高带宽、更高效率的跨节点网络，才能减少GPU等待，让新增算力真正转化为有效推理性能。
2
P/D分离：KV Cache成为新的大流量
P/D分离将计算密集的Prefill阶段和内存、带宽敏感的Decode阶段部署在不同计算资源上，可以减少两类任务之间的资源干扰，是大规模推理的重要架构优化之一，但代价是：Prefill生成的KV Cache必须及时传递给Decode节点。
而KV Cache规模会随上下文长度增加，并受到模型结构和数据精度影响。以Llama3系列70B模型为例，在FP16/BF16条件下，单个128K上下文请求的KV Cache可达到约40GB。对于一条400G链路而言，这已经是相当可观的数据量——400G的理论传输能力约为50GB/s，单个请求的KV Cache就相当于接近一整秒的线速数据量。当多个请求同时进行P/D间状态迁移时，带宽需求会快速叠加，单条400G链路也可能迅速进入高负载状态。
这意味着在P/D分离架构中，网络需要持续承担大块状态数据迁移。KV Cache传输越慢，甚至发生拥塞和重传，Decode启动就越晚，最终直接拉长用户等待首Token的时间。因此，P/D分离考验的不只是GPU算力和显存，也让网络带宽、时延和拥塞稳定性成为影响推理体验的重要因素。
3
MoE Decode：动态流量带来部署和负载均衡新挑战
随着大模型参数规模不断增长，如果每次推理都让全部参数参与计算，算力消耗和推理成本都会非常高。MoE模型通过把模型拆分成多个“专家”，每次只调用其中一部分参与计算，在扩大模型能力的同时降低单次推理所需的计算量，因此正在成为大模型的重要技术路线。
但当专家分布到不同GPU和服务器后，节点之间会产生大量高频、动态的通信流量，对无损网络、队列、缓存和拥塞控制等参数配置提出更高要求。如果缺乏针对智算场景的推荐配置，用户往往需要根据网卡、链路速率、业务模型等逐项调试PFC、ECN、队列及缓存参数，不仅部署复杂、调优周期（883436）长，参数设置不合理还可能带来丢包、拥塞扩散或时延抖动。同时，MoE每次参与计算的专家组合可能不同，网络流量也会随之动态变化，一旦大量流量集中到少数链路，就容易出现“有的链路拥堵、有的链路空闲”的情况。
因此，MoE网络不仅需要更大的带宽，还需要更简单的无损网络部署方式和更高效的多路径负载均衡能力，在降低部署调优门槛的同时，让业务流量均匀分散、链路充分利用，避免网络成为推理效率的“慢点”。
综上，当推理从单机走向多机、从短上下文走向长上下文、从Dense走向MoE，网络需要承载的数据量持续增长，通信更加频繁，流量模式也更加复杂。此时，推理网络比拼的已经不只是端口速率，而是带宽能否充分释放、拥塞能否快速化解、多条链路能否均衡利用，以及关键数据能否持续低时延传输。
围绕这些核心需求，迪普科技（300768）智算交换机通过高密400G组网、智能无损、LBN多路径负载均衡、微秒级转发以及智算网络推荐模板等能力，让跨节点通信更快、更稳、更高效，为大规模推理构建高性能智算网络底座。
二
赋能大规模推理
迪普科技打造高速无损的智算通信网络
1
高密400G组网，释放Scale-out带宽
伴随推理集群从单机向多机扩展，GPU之间的集合通信、KV Cache迁移以及MoE专家通信持续增加，对Scale-out网络的带宽和扩展能力提出更高要求。迪普科技（300768）LSW6600-2TFG64QCQ智算交换机提供64×400G高速端口，可采用Leaf-Spine两层无阻塞架构，以1:1无收敛比组网，并通过多轨组网为GPU节点提供多条并行Scale-out通信通道，充分释放节点侧多张高速网卡的通信带宽，避免单一通信通道成为性能瓶颈。单POD最大支撑2048个400G接入端口，为大规模推理集群构建高带宽、高效率的Scale-out网络。充足的跨节点带宽能够减少GPU通信等待，让更多理论算力真正转化为有效推理性能。
2
智能无损+低时延，让KV Cache传输更稳定
P/D分离后，KV Cache需要在Prefill与Decode节点之间持续传输。面对大块数据迁移和高并发请求，网络一旦出现拥塞、丢包或排队等待，就可能影响KV Cache迁移效率，进而延迟Decode启动和首Token响应。
迪普科技（300768）智算交换机通过PFC、ECN、快速CNP等智能无损能力，及时感知并快速缓解网络拥塞，减少丢包和重传；结合微秒级转发能力，进一步降低网络转发和排队带来的额外时延，让KV Cache在高并发场景下保持低时延、低抖动、稳定传输，为P/D分离场景下的高效推理提供网络保障。
3
推荐模板+LBN负载均衡技术，让MoE网络部署更简单、运行更高效
MoE场景通信关系动态、流量复杂，对PFC、ECN、队列、缓存等无损网络参数配置，以及多路径负载均衡能力都提出了更高要求。
迪普科技（300768）智算交换机内置智算网络推荐模板，将经过验证的无损网络、队列及拥塞控制等关键参数预置化，帮助用户快速完成智算网络配置，减少逐项调试带来的部署复杂度，降低无损网络部署和调优门槛。
面对MoE Decode过程中持续变化的流量，LBN负载分担技术进一步将业务流量更加均匀地分散至多条等价路径，在保证报文有序的同时减少链路热点，让多条链路得到更加充分的利用。在多个已部署场景验证中，多路径带宽利用率可达97%+，有效减少局部拥塞和链路资源浪费，让MoE复杂通信场景下的网络持续保持高效、稳定运行。
大模型推理正在从“拼算力”走向“拼系统效率”。随着Scale-out通信、KV Cache迁移和MoE多专家协同不断增加，网络也正从“连接算力”走向“释放算力”。迪普科技（300768）通过高密400G组网、智能无损与微秒级转发、智算网络推荐模板及LBN多路径负载均衡等能力，为大规模推理构建高带宽、低时延、易部署、高效率的智算网络底座，让数据传得更快、更稳，让更多GPU高效协同，将更多理论算力真正转化为有效推理性能。
