前馈单脉冲神经网络因果片段数量的理论上界推导

Dominik Dold、Dennis Elbrächter 与 Philipp Petersen 在 arXiv 提交论文，为前馈单脉冲神经网络中可实现的因果片段数量推导了两类互补上界：适用于多类神经元模型的 poly-Bernoulli 组合界（量级为 e^{2(L-1)N log N + O(N)}，L 为网络深度、N 为最大层宽），以及针对特定模型的超平面排列界。 超平面排列界对带指数突触的非泄漏积分发放模型和 ReLU 型脉冲响应模型给出 O(N^{(4L-3)(N₀-1)}) 的上界，对带 Dirac-δ 突触的泄漏积分发放模型给出 O(N^{L(N₀-1)}) 的上界，N₀ 为输入维度。对带 Dirac-δ 突触的非泄漏积分发放模型，作者称其额外的时间结构可将一般组合界收紧为仅依赖输入维度 N₀、与网络深度和层宽无关的上界。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。