近日，岩山科技（002195）旗下岩芯矩阵(Rock Matrix)联合香港科技大学、卡内基梅隆大学(CMU)等高校，正式发布并开源EdgeRock-4B。该模型面向长上下文推理场景，通过固定容量的历史状态设计降低推理内存开销，支持文本和图像推理。
根据技术报告，在256K上下文下，EdgeRock-4B的注意力KV Cache容量较源模型Qwen3.5-4B减少99.1%；在单张80GB GPU、32K输入与32K输出的批量测试中，输出吞吐达到源模型的6.42倍。
AIME2024—2026平均一次通过率(pass@1)达到82.9%，是参评有界状态模型最佳成绩的4.41倍，该组对比覆盖16个模型、参数规模最高达14B。
从短问答到持续写代码、分析长文档，模型需要处理的任务越来越长。如何控制随之增长的历史状态开销，直接影响一张卡能服务多少请求，以及长任务能否持续运行。这也是EdgeRock-4B此次开源所关注的问题。长推理，先算一笔显存账
模型处理文本时，会把它拆成token。为了接着往下推理，带有全注意力层的模型通常会为这些token保存键和值，也就是KV Cache。
以 Qwen3.5-4B为例，在报告的BF16配置下，每增加一个token，就新增32KiB的注意力KV。一条序列累积到64K，需要2GiB；到256K，则需要8GiB。这还没有算模型权重和其他运行开销。
一条请求占得越多，一张卡能同时容纳的请求就越少。对持续写代码、反复调用工具的Agent来说，这笔开销会随着任务推进不断增加。
EdgeRock-4B把历史记忆的容量固定了下来。上下文从4K扩展到256K，每条序列的注意力KV容量都保持在72MiB。按配置计算，在256K处相较源模型减少99.1%。
图 1｜白皮书原图：注意力KV随上下文长度的变化。
这样，部署时就能提前知道每条请求要留多少历史状态空间。推理继续向前，这部分预算保持不变。省下显存，一张卡能多做多少事
把模型放回实际运行环境，省下的显存会变成更大的并发容量。
在单张NVIDIA Hopper80GB GPU上，我们测试了每条序列32K输入、32K输出的长生成任务。EdgeRock-4B可以同时运行512条序列，输出吞吐达到12,124tokens/s。
源模型Qwen3.5-4B在它的实测最优批大小64下，输出吞吐为1,889tokens/s。两者相比，EdgeRock-4B达到6.42倍。
图 2｜输出吞吐(tokens/s)。Hopper80GB，32K输入＋32K输出；重复提示词、各自最优批大小，计时含预填充。
这里衡量的是一张卡服务整批请求的能力。对于部署方，同样的GPU运行时间可以产出更多token，也就有了降低单位token GPU时间开销的空间。
单条请求的表现也在报告中单独测量：128K输入后再生成128K token，EdgeRock-4B的解码速度为233.7tokens/s，约为源模型的1.54倍，生成过程中的累计解码速率基本保持平稳。这个指标不包含预填充时间。记忆固定了，推理还要跟得上
只把内存固定下来并不够。过去的信息如果留不住，后面的推理就可能失去依据。
在 AIME2024—2026数学推理评测中，EdgeRock-4B的平均一次通过率(pass@1)达到82.9%。
报告还比较了16个同样将历史状态限制在固定容量内的模型，规模最高达14B。其中，AIME得分最高的是RWKV-7G1j13.3B，为18.8%。
EdgeRock-4B的得分是这一最佳结果的4.41倍。
图 3｜AIME2024—2026平均pass@1；对比项为报告所测有界状态模型中的最佳结果。
更广泛的评测也给出了支持。在29项文本基准中，EdgeRock-4B有24项领先所测有界状态基线，在MMLU-Pro、HumanEval等8项基准上超过源模型。它还保留了图像推理能力，报告提供了图表理解、视觉问答等六项视觉基准结果。记忆岩锚，让关键细节留下来
EdgeRock-4B基于Qwen3.5-4B转换而来。我们保留了循环层，将全注意力层改为局部窗口，并加入新的记忆机制：记忆岩锚(Rock Memory Anchors，RMA)。
这套机制把历史交给三部分共同保存：循环状态概括上下文，局部窗口照顾最近的内容，锚点库保留更早的关键细节。
图 4｜白皮书记忆机制原图节选。
哪些信息留下，由模型学习打分。新的候选与已有锚点共同竞争固定的名额；被保留的记录带着来源位置，原文离开局部窗口后，仍然可以被后续推理读取。
可以把它理解为一份容量固定、持续取舍的工作笔记。记下的内容会更新，笔记的容量始终固定。
这份记忆是否真的被用上了？我们在训练完成的模型上做了一个直接的对照实验：保持循环层和局部窗口运行，只关闭全部RMA模块。
在 256段长上下文、合计1,024个远距查询中，开启RMA时正确率为94.1%；关闭后降至0.4%。这一实验说明，在这些检索、状态更新和跨文档任务中，模型确实依赖锚点读取远处的信息。开源之后，继续把生成做快
EdgeRock-4B也是岩芯矩阵最新技术白皮书中，已经交付给开发者的一步。
白皮书把更完整的方向称为Ultra-Fast Token：让模型在固定记忆下保持推理能力，再继续提高生成速度。
EdgeRock解决历史状态持续增长的问题。DiffusionRock探索整块生成，用更少的串行步骤完成一段内容；SiliconRock推进模型与芯片协同设计，把权重固化为计算电路，并将固定容量的状态放在片上存储中。后两条方向继续推进，长期设计目标是单用户百万token/s。
对开发者来说，现在就能从EdgeRock-4B开始，测试自己的长推理任务，观察固定记忆如何改变并发容量与部署方式。
模型权重、推理代码和技术报告已经公开。欢迎下载、复现，也欢迎把真实任务中的体验反馈给我们。模型与代码
