SEMAADB评估多图SysML生成

Ardalan Aryashad与Yan Jin提出SEMAADB数据集和基准，用于评估大语言模型生成连贯多图SysML模型的能力。数据集含3,000个工程情境和15,000张图，每个情境包含相互连接的需求、块定义、活动、状态机和顺序图；其中100个人工核验情境构成测试集。 论文摘要称，在跨图更新任务中，将一项变更传播至相关图时，当前最佳模型的F1为80.7%。这一结果反映该基准上的跨图变更传播表现，不代表模型已能可靠完成全部多图建模任务。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。