八款LLM英语与孟加拉语摘要能力零样本基准发布

Khan Mahi Al Atahar、Nazifa Tasneem、Ajwad Abrar 等发布论文，提出一个标准化零样本摘要评测基准：在规模匹配的英语和孟加拉语 XL-Sum 测试集上，对 8 个闭源与开放权重 LLM 的抽象摘要能力进行评测。 评测方法结合词汇与语义指标、无需参考答案的事实性核验，以及多维度的 LLM-as-a-Judge 评估。 以上内容基于论文摘要，尚未核验全文。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。