强推理，省显存，快生成。
近日，岩山科技（002195）旗下岩芯矩阵(Rock Matrix)正式发布《岩芯矩阵技术白皮书：Ultra-Fast Token》。
白皮书系统阐述了岩芯矩阵迈向单用户每秒百万token的技术路线。我们不压缩KV Cache，而是让它根本不增长；在此基础上，以整块生成突破串行瓶颈，以模型与芯片协同设计把完整模型固化进单芯片。这一目标，我们称为Ultra-Fast Token。
白皮书要点
● KV Cache不增长：EdgeRock-4B在256K上下文处注意力KV减少99.1%。
● 推理不打折：AIME2024–2026平均得分82.9%，是本次评测中有界状态模型最好成绩的四倍多。
● 吞吐提升：同一张GPU，长推理吞吐达到来源模型的6.42倍。
● 速度提升：DiffusionRock单请求生成速度达到每秒1,500token，较当前常见水平提升一个数量级。
● 芯片固化：SiliconRock将完整模型固化进单芯片，主路径无需HBM，目标单用户每秒百万token。
● 诚邀合作：SiliconRock正在寻求合作伙伴，共同把模型做进芯片。为什么生成必须更快
AI正在从回答问题走向按需生成软件。用户提出需求，模型当场生成Agent、代码和工具。一个可用的Agent，往往需要生成数万至数十万token。按今天单用户每秒一两百token的速度，用户需要等待十几分钟；达到每秒百万token，按需生成即可实时完成。
图 1｜生成10万token：每秒100token约需17分钟，每秒百万token仅需0.1秒。
按需生成能否实时完成，取决于单个用户的生成速度。前沿大模型持续推高能力上限，岩芯矩阵专注于速度，让强模型以单用户每秒百万token持续生成，把成熟能力带入高频、实时的场景。三步拆掉三道墙
单用户生成速度受三道墙限制：记忆、串行和搬运。岩芯矩阵分三步，逐一拆掉。
图 2｜三步走向Ultra-Fast Token，每一步拆掉一道墙。
第一步，EdgeRock拆掉记忆墙。世界状态让模型记忆容量固定，推理再长，KV Cache也不增长，推理能力不打折。
第二步，DiffusionRock拆掉串行墙。模型一次生成一整块内容，再经少量几轮修正完成，串行等待大幅减少。
第三步，SiliconRock拆掉搬运墙。权重固化为电路，状态驻留片上SRAM，完整生成在单芯片内完成。
EdgeRock与DiffusionRock均为完整模型，可独立部署，也可组合使用。EdgeRock：恒定内存，推理不打折
主流大模型以KV Cache保存历史。推理越长，缓存越大，单卡并发越低，生成越慢。压缩缓存只能推迟内存墙，岩芯矩阵从结构上取消了KV Cache的增长。
图 3｜EdgeRock的KV Cache不随上下文增长，在256K上下文处比来源模型少99.1%。
核心是世界状态(World-State)。模型以一份容量固定的状态概括任务与环境，并随新信息持续更新，不再保存不断增长的完整历史。
记忆岩锚(Rock Memory Anchors，RMA)让固定记忆留住关键细节。模型自主学习哪些细节值得长期保留，并将其锚定在固定容量的锚点库中。原文离开局部窗口后，推理仍可直接读取这些细节。每条锚点都标注来源位置，记忆内容可追溯。
图 4｜EdgeRock的固定记忆：递推状态概括上下文，局部窗口保留近期内容，RMA锚点库留住关键细节。
恒定内存与强推理兼得。EdgeRock-4B在AIME2024–2026上平均得分82.9%，与内存随推理增长的领先小模型处于同一水平。关闭记忆岩锚后，长上下文远距查询正确率由94.1%降至0.4%，锚点的作用得到直接验证。
图 5｜EdgeRock仅用4B参数，四项能力得分均领先图中7B至14B的更大固定记忆模型。
恒定内存直接转化为服务效率。单卡同时运行512条长推理时，EdgeRock-4B含权重的显存峰值约61GiB；来源模型仅KV Cache就需约1TiB，相当于13张80GB显卡。EdgeRock-4B的长推理吞吐达到来源模型的6.42倍，单位token服务成本随之下降。
图 6｜同一张GPU，EdgeRock-4B的长推理吞吐是来源模型的6.42倍(32K输入、32K输出，单位token/s)。
EdgeRock-4B的权重与推理代码已开源，支持数据中心与端侧设备部署。DiffusionRock：整块生成，单请求每秒1,500token
千问(Qwen)、DeepSeek等主流大模型采用自回归方式逐token生成，每生成一个token都要从显存读取一遍权重，生成256个token即需读取256遍。
DiffusionRock采用整块生成：一次生成256个token的草稿，再经少量几轮集中修正。每读取一遍权重，256个位置同步更新，权重读取次数大幅减少，单用户生成时闲置的算力得到充分利用。
图 7｜同样走三轮，EdgeRock只写出3个token，DiffusionRock已经写完一整块256个token。
DiffusionRock单请求生成速度已达每秒1,500token，较当前常见的每秒一两百token提升一个数量级，内存同样不增长。下一步，DiffusionRock将开源模型与代码，并从文字和代码扩展到图像、音视频与动作的生成。SiliconRock：完整模型固化进单芯片
GPU上的每一轮生成，仍需从显存读取全部权重。以约21亿参数、4位权重的模型为例，逐token生成每步需搬运约913M（MMM）B；实现每秒百万token，需要每秒913TB的带宽。NVIDIA最新一代Rubin GPU的显存带宽约为每秒22TB，与所需带宽相差四十余倍，单靠GPU无法实现。
SiliconRock从模型与芯片两端同时设计：推理中不变的权重不再读取，持续更新的状态驻留在计算单元旁。只改芯片或只改模型，都只能消除一半搬运；两端协同，两项搬运同时消除。
图 8｜只改一边只能去掉一半，两头一起改，两项搬运才同时消失。
SiliconRock将定型模型完整固化进单芯片。权重直接构成电路，生成全程无需搬运权重；世界状态容量固定，整体驻留片上SRAM，就近读写。主路径无需昂贵的HBM，封装与互联随之简化，单位token成本更低。完整生成在单芯片内完成，路径更短，速度更快。既省又快。
图 9｜一个token在1微秒内走完全程：权重就在电路里，状态就在计算单元旁边。
在 1GHz时钟下，每秒百万token意味着每个token有1,000个时钟周期（883436）。SiliconRock的时间表为884个周期（883436），折合每秒约113万token。芯片原型设计已完成，电路正确性测试已通过。下一步，SiliconRock将在商用EDA工具上进行验证，后续在验证完成后推进流片工作。
SiliconRock诚邀合作伙伴
SiliconRock正在寻求合作伙伴共建，共同把模型做进芯片，打造联合产品。
模型在快速迭代阶段由GPU提供服务，能力定型后固化为SiliconRock芯片。主权重与计算结构固化在芯片中，LoRA、行业词表、机器人动作校准与安全阈值保留在可更新部分，支持持续的行业适配。
欢迎希望将模型做进芯片的伙伴，以及芯片设计与制造领域的伙伴，联系：
support@rockmatrix.ai。路线图
图 10｜三条路线各自向前推进，最终汇合到Ultra-Fast Token。
● EdgeRock：推广到更多架构，开展从零预训练。
● DiffusionRock：开源模型与代码，走向any-to-any生成。
● SiliconRock：进行商用EDA验证，完成后流片。
达到单用户每秒百万token，模型将当场生成软件，实时推演虚拟世界，并直接控制机器人。届时，机器人的“大脑”与“小脑”将合二为一。白皮书与相关链接
岩芯矩阵官网
https://rockmatrix.ai
技术白皮书(中文版)
https://rockmatrix.ai/documents/rock-matrix-whitepaper-zh.pdf
技术白皮书(英文版)
https://rockmatrix.ai/documents/rock-matrix-whitepaper-en.pdf EdgeRock模型下载
https://rockmatrix.ai/models/
EdgeRock技术报告(英文)
https://rockmatrix.ai/documents/edgerock-report-en.pdf
