System X 论文让 LLM 决策模型复用 KV 缓存生成文本回复

Syed Usama Khalid Bukhari 等在 arXiv 发布 System X 论文，提出一个 LLM 决策模型，在决策读出中加入文本回复选项，并复用决策阶段的 KV 缓存来续写回复，避免重新做提示预填充。其 v4 版本基于 Qwen3-0.6B，用 LoRA 在 Reason-9k 和 Bitext 回复数据行上微调。 作者报告的实测结果是：在 Apple M4 Pro 上，缓存复用节省 15-37% 的延迟，FP32 演示案例中生成的回复与逐 token 一致。作者同时指出状态冲突和回复中出现无支持细节仍是失败模式，并建议后续用多个随机种子、人工评估者和真实客服数据进一步验证。

AI 根据报道生成 · 14 小时前更新