ReplaySSM：用检查点加输入缓冲减少SSM状态读写

Ze-Wei Liou 等（Tri Dao 团队）发布论文提出 ReplaySSM，一种混合模型推理优化方法：将 SSM 状态展开表示为一个检查点加近期输入缓冲区，周期性更新检查点，从而减少多数解码步骤中的状态写入，并使推测解码的回滚变为缓冲区指针操作。其核心是改用缓存 SSM 输入而非缓存状态来降低状态 I/O。 作者在 vLLM 中为 Mamba-2 和 Gated DeltaNet 实现了该方法。据论文称，在服务 batch size 256 下，ReplaySSM 在四个混合模型上将标准解码较调优的 vLLM 基线加速 1.20–1.47 倍，并在两个 120B 级模型上达到约 vLLM 推测解码 1.8 倍的吞吐。

AI 根据报道生成 · 55 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。