IT之家 10月29日现场消息,在今天的发布会上,XHEART新芯航途CEO李宗霖正式发布全新X7Ultra大模型芯片。
据介绍,这枚芯片专为大模型设计,拥有超大核NPU架构,核内数据交互对比核间数据交互,互联速率TB/s数量级提升。另外,芯片的多级缓存架构支持大容量、高并发特性,可降低推理时延与功耗。
新芯航途X7Ultra大模型芯片内置高精度大模型专用算子加速引擎,针对Layernorm、Softmax、Transpose等一系列Transformer大模型关键算子进行极致硬件优化,原生支持FP16/FP32高精度向量计算,保障模型精度。
通过架构与工具链协同创新,X7Ultra支持可部署模型参数量实现10倍提升,让更大的模型在车端高效运行。
根据新芯航途官方公布的数据,X7Ultra的NPU硬件并行度解锁可充分释放大模型推理潜能,计算利用率达98.7%。相比行业旗舰产品,其内存带宽消耗下降80%,能效提升100%。
IT之家从发布会现场获悉,新芯航途X7Ultra还中国首发量产Armv9车规级CPU,性能提升20%、能效提升10%。另外,大集群架构还提升了多核协同与L3访存性能,集成全新SVE2向量处理引擎,相比上一代NEON具有更强的DSP性能。
