发布MixLID：支持111种语言-文字组合的token级语言识别模型

Seongtae Hong等提出token级语言识别模型MixLID，支持111种语言-文字组合，可对混合文本逐词元识别语言，模型已公开于Hugging Face（nlpai-lab/MixLID）。 MixLID采用两阶段训练：先用单语样本学习语言区分，再用真实语码转换样本及基于英语源词与借词对应关系的替换增强数据训练。基于论文摘要，在共同语言覆盖的四个单语基准上，其准确率和宏平均F1均优于全部基线，并在所有评测语言对的混合文本逐词元识别中优于基线。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。