FON：草拟—修订双器官语言模型架构提出

Helong Hu 等作者发布 FON（Fusion-Organ Network）论文，提出一种无需序列级二次注意力的草拟—修订双器官语言模型：同一权重栈分化为草拟器官（多 tap 可学习延迟加内容自适应递归，因果、训练 O(S)、解码状态 O(1)）和只重处理已写前缀、不直接生成的修订器官（经弱门控注入多尺度 ripple kernels）。 作者称，在 30M 参数、同参数与同 token 预算下，FON 在 WikiText-103 上达到困惑度 131.03，优于 Transformer（197.73）和 Mamba2（152.53）。这些为作者报告的结果，尚未见独立复现。 作者同时列出代价与边界：长程检索受损、合成任务表现较差、域外代码填充弱于同配方 Transformer，以及 6.5–12.3 倍的墙钟时间差距。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。