芯展速 AI90 固态硬盘显存化方案亮相：首 Token 延迟缩短至 1/50

IT之家7月20日消息，芯展速(GenStorAIGE)在WAIC2026展出了其AI90软硬件一体化AI推理加速方案。

其将高性能SSD纳入GPU显存体系，让KV Cache卸载到更大容量的固态硬盘上，形成HBM+DRAM+SSD三级存储体系。

这一方案可将首Token(词元)延迟从秒级降低至亚秒级，提速50倍；吞吐量提升5.1倍；显存节省39%。结合智能P2P多卡互联技术，AI90可让8卡NVIDIA GeForce RTX5090集群推理加速可达5.8倍、支持128K+上下文。

而为了满足KV Cache卸载带来的高写入负载，芯展速同步带来了PT200Z AI SSD。其基于pSLC闪存介质，采用PCIe Gen5接口，DWPD最高达100，顺序读取14.8GB/s、随机读取3100KIOPS，读取时延54μs、写入时延10μs。