跳到正文
arXiv · cs.AI· Mohamed Bouadi, Nassim Bouarour, Aditya Tanna, Vinay Kumar Sankarapu·· 1 天前

OrionMoE-Small:面向表格上下文学习的稀疏混合专家基础模型

OrionMoE-v1.0: A Mixture-of-Experts Foundation Model for Tabular In-Context Learning

arXiv:2610.20418v1阅读论文 PDF ↗

仅依据论文摘要整理;未读取全文,实验条件、证明与基准细节请核对原文。

作者:Mohamed Bouadi, Nassim Bouarour, Aditya Tanna, Vinay Kumar Sankarapu

研究任务与主要进展

作者提出 OrionMoE-Small,一种结合分布感知表示和数据集条件化稀疏混合专家计算的表格基础模型,用于基于带标签支持表的上下文预测。该模型采用双轴 Transformer,并按特征和数据集上下文选择专家;基于论文摘要,作者报告其在多个表格基准上与更大模型相比具有竞争力,且在小上下文、高维和类别不平衡数据上表现较强。

阶段、条件与复现 · 深读核对

  • 新能力对应什么具体任务与最小输入输出?
  • 代码、模型、数据、许可与可用入口是否明确?
  • 效果、总成本、失效条件与实际工作流如何验证?

这些是阅读核对问题;材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。

来源:arXiv · cs.AI · arxiv.org