论文提出训练依赖的Transformer计算语义理论

Luis F. Rosario Freytes 在arXiv发布理论论文《Architecture Before the Formula: Training-Dependent Computational Semantics in Transformers》，提出一种“深度学习外在主义”的计算语义，认为Transformer中计算角色由输入输出功能、生产者上下文和接收者能力共同决定，区分功能等价、保留前驱区分、受限接收者能力与上下文依赖的有效架构。 作者在带维度标记的PreNorm Transformer中给出训练依赖的有效架构关系，并报告梯度下降训练下的衰减模型及输入条件注意力的约化预测状态。该内容基于论文摘要，全文中的实验、基准和证明细节未提供。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。