活动描述
CALVIN(Composing Actions from Language and Vision)是 2022 年 IEEE RA-L Best Paper Award 论文发布的开源仿真 benchmark。它不是 RoboCup、Habitat Challenge 这类有报名与赛季制的竞技活动;本条收录是因为其在语言条件长时程操作领域引用广泛、评测协议清晰,对跟踪 VLA 与 language-conditioned policy 仍有参考意义。
智能体在 PyBullet 仿真中根据连续自然语言指令,完成开关抽屉、推块、转灯等 34 类基础技能 的组合任务,强调对未见语言与未见环境的泛化。社区在各自实验中报告 success chain length 等指标,无统一官方赛季。
影响力证据
- IEEE RA-L 2022 Best Paper Award
- 被 GR-1、OpenVLA 等大量工作作为标准评测
- 长期维护 CALVIN-D / CALVIN-ABC 等 split,开源可复现
行业价值
| 维度 | 分析 |
|---|---|
| 技术筛子 | 定义 language-conditioned long-horizon manipulation |
| 公共底座 | 开源仿真 + 演示 + 评测脚本 |
| 生态接口 | 连接 NLP、VLA、机器人学习 |
| 场景窗口 | 桌面家务抽象,非真机 |
前提与边界
- 类型:学术 benchmark,非竞技赛事;卡片/列表中作参考条目收录
- 大脑权重大;固定 Panda 臂与仿真物理
跟踪建议
值得跟踪——关注论文引用与仓库更新;若需会中 challenge track,见 ALFRED Challenge @ CVPR EAI 等 workshop 条目。