硬件感知LLM-VLM零样本机器人操作规划框架论文

Lonnie Tankersley 等发布 arXiv 论文，提出面向 Franka Research 3 机器人的硬件感知 LLM-VLM 操作框架，实现零样本任务规划，并在 NVIDIA Isaac Sim 仿真中以数字孪生试验评估。 框架分工明确：API 托管的 LLM 规划器接收结构化场景摘要，仅生成符号任务信息；本地 Qwen3-VL 8B 作为 VLM 验证器，用于歧义物体和开放容器的语义确认；坐标、抓取位姿与轨迹等物理决策由基于 MoveIt 2 碰撞检查和逆运动学的确定性模块处理。 目前验证仅限仿真环境，论文未报告真实硬件实验结果。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。