评测

评测完整性与复核

版本 1.02026 年 10 月 15 日ENG中文

本说明用于保障不同研究方法与系统设计之间的评测结果可比。

一致的评测设置

同一次提交中的所有任务都应使用已登记模型和申报的评测设置。如模型检查点、推理配置、动作输入或模型路由存在重要变化,应在提交备注中如实说明。

公平参与

全部提交输出应由已登记系统在申报设置下生成。使用未公开评测材料、其他参与者的私有提交、伪造输出或针对特定任务人工挑选结果,均违反该要求。

组织方复核

组织方可检查提交包、日志、公开资源和复现说明,以核实资料缺失或评测完整性问题。相关问题解决前,结果会保持“复核中”状态。如确认公开链接失效、材料与已登记模型不符或评测结果有误,组织方可更正相关标识或结果。

黑名单处理

绕过检查、爬取非公开评测数据、操纵平台服务或作弊,可能导致相关账号、模型或队伍被列入黑名单。组织方可移除关联提交并阻止后续访问。

说明与更正

参评者可在复核完成前提供解释和支持材料。如确认需要更正,平台会保留原始提交历史并记录相关变更。

复核机制维护公平参与和榜单完整性。