arXiv · cs.AI· Corentin Caris, Louis Jalouzot, Nona Rajabi, G\'eraud Ilinca, Ahmed Hassayoune, Asilbek Muminov, Thadd\'ee Delebarre, Clara Fonteneau, Charles Maussion, Bertrand Thirion, Alexis Thual, Antoine Collas·· 6 小时前
NOEMA通过时间建模与多模态对齐从fMRI解码自然语音
Decoding Naturalistic Speech from fMRI with Temporal Modeling and Multimodal Alignment
arXiv:2610.22049v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Corentin Caris, Louis Jalouzot, Nona Rajabi, G\'eraud Ilinca, Ahmed Hassayoune, Asilbek Muminov, Thadd\'ee Delebarre, Clara Fonteneau, Charles Maussion, Bertrand Thirion, Alexis Thual, Antoine Collas
研究任务与主要进展
基于论文摘要，NOEMA将连续fMRI测量窗口与文本、音频和语音等多模态刺激表示对齐，用于从脑活动中检索自然语音片段。在Cephalonauts One和LeBel两个自然语音数据集上，NOEMA在2,000个候选中将正确片段检索至前10的比例超过42%，并据摘要称优于基线解码器；消融实验支持时间建模和互补刺激表示的作用。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org