FUTRANSFORMER：Hopper 上 FP8 预填充 + INT4 解码推理实现

Wei Wang 等作者在 arXiv 发布 FUTRANSFORMER，一个面向 NVIDIA Hopper GPU 的 CUDA Llama 风格 Transformer 推理实现：FP8 执行预填充、INT4 执行解码，并针对 KV-cache 与权重量化做了优化。该实现沿用 CODA 的 GEMM-plus-epilogue 方法，加入 KV-cache 直接放置、将固定 RMSNorm 增益折叠进权重、以延迟缩放直接写出 FP8 输出，并支持无 padding 预填充。 作者报告的性能与精度代价：在单张 H100 上，预填充比编译后的 PyTorch FP8 最多快 1.48 倍，达 1.29 PFLOP/s。精度方面，将 WikiText-2 全部 token 经 INT4 权重路径解码时，困惑度从 6.24 升至 7.23（最近舍入权重）或 6.99（同格式 GPTQ）；旋转 INT4 缓存再加 0.20。以上为论文自述结果，尚无独立复现报道。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。