平均奖励选项Q学习首获O~(1/迭代)有限样本收敛保证

Kintan Saha、Ahana Deb、Anders Jonsson 和 Debabrota Basu 在 arXiv 发布理论论文《Non-asymptotic Convergence of Average-reward Q-learning with Options》，作者声称首次给出带 options 的平均奖励 Q-learning 在 inter-option 与 intra-option 两种设置下、均方意义为 O~(1/迭代次数) 的有限样本收敛保证。该结果基于论文摘要，为作者声称。 论文的核心增量是证明两类多步 option Bellman 算子在 unichain 假设下满足多步 span 收缩，并据此提出同步估计器及两种算法，在文献采用的最小条件下证明其收敛速率。证据目前处于理论分析阶段，材料未说明实验或独立验证情况。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。