NeuronSpark：脉冲状态空间语言模型论文发布

Zhengzheng Tang 等在 arXiv 发布论文（v2），提出 NeuronSpark：一种无自注意力的语言模型，基于输入依赖的脉冲膜动力学，让每个神经元根据当前词元自适应调整衰减率、增益和放电阈值，并结合门控联想记忆与自适应时间聚合，完成了十亿级参数的随机初始化预训练。 据论文报告，在 1.1B 参数、2.1B token 规模下，NeuronSpark 八任务零样本平均分 40.0，超过同等预算的 Pythia 和 Mamba 中间检查点，分别保留二者 fully trained 分数的 95.2%/93.2%，并自发形成快—慢层级。作者称在 2048 token 下，参数匹配的 VHDL 点相对 Transformer/Mamba 将运算能耗代理降低 90.1%/67.0%，周期数降低 94.1%/80.3%。以上均为论文报告结果，能耗与周期数据基于 VHDL 代理口径。

AI 根据报道生成 · 2 小时前更新