空间归纳头机制研究

研究者提出“空间归纳头”，用两层收集—匹配电路解决多维数据扁平化后空间邻居分散在序列远处的问题。作者给出了两种收集实现和贝叶斯计数匹配层，摘要称其位置维度只依赖局部邻域与空间维度；在基于摘要的实验中，两层 Transformer 能泛化到一维和二维未见规则，确定性规则实现近完美滚动预测，随机规则与贝叶斯最优预测器的差距低于 0.005 nats KL。

摘自 arXiv · cs.AI

还没有足够的连续观测数据，暂不绘制趋势。