评测

评测与榜单规则

版本 1.02026 年 10 月 15 日ENG中文

本规则说明正式评测、额度计算以及榜单成绩替换方式。

赛道与提交额度

每次正式提交只能选择一个赛道和一个受支持的具身平台。审核通过的账号在滚动七天窗口内,每个赛道最多评测两次,所有赛道合计最多评测六次。第一次正式提交会启动该共享计时窗口。

正式评测

上传校验会检查提交包的结构与安全性。提交正式进入评测队列后才会扣除额度并启动评测。参评者可见的状态依次为:草稿、已提交、评测中、复核中和已通过。

VLM 评测器版本

论文中报告的分数由 GPT-5.5 VLM 评测器生成。在线榜单对重新评测的基线和新提交统一使用 GPT-5.6 Luna,确保在线结果可直接比较。由于评测器版本不同,论文中的分数可能与在线榜单不完全一致。

榜单成绩更新

对于同一模型、同一赛道和同一具身平台,每次已通过的提交都会与当前已公开的完整榜单记录进行比较。如果新结果的最终单视角总分或三视角总分中任意一项严格更高,将以新结果整体替换原榜单记录。缺失的总分在比较时按 0 计算;不会拼接不同提交的总分或分项指标。

  • 单视角替换单视角:仅当新的单视角总分更高时更新。
  • 单视角替换三视角:仅当新的单视角总分更高时更新;替换后的榜单记录不再保留三视角总分。
  • 三视角替换单视角:原记录缺失的三视角总分按 0 计算,因此三视角结果会更新榜单记录。
  • 三视角替换三视角:新的单视角总分或三视角总分中任意一项更高即更新。

评测准入与评分同时受评测服务规则和《提交指南》中提交包规范的约束。