跳转到正文

提交训练任务前检查 ​

本页用于确认提交训练任务所需的关键条件。先完成所有任务都需要的检查,再根据当前任务使用的资源和运行方式选择补充检查。

创建任务弹窗会检查必填项和字段格式。RLinf/Hydra 配置、镜像内容、资源容量和外部依赖需要按本页说明另行确认。

本文使用 Header 角色表示负责启动 Ray Head 和执行运行脚本的角色。Header 角色不是某个具体 Node,也不会自动只使用第一个 Worker;它必须只创建 1 个 Worker。

提交前必须确认 ​

提交每个任务前,请确认:

  1. 运行输入已经确定:知道本次使用的 RLinf 代码版本、配置和运行命令,并使用来源明确的镜像地址和版本。不要使用 latest;不了解镜像版本写法时,先查看选择镜像版本和执行入口。
  2. Worker 规模符合预期:各角色的 Worker 数量和每个 Worker 的 GPU/设备数量与工作负载要求一致;选择范围重叠的角色已经分别计数并核对合计资源,Header 角色只有 1 个 Worker。
  3. 节点范围没有歧义:已选节点数符合预期,完整节点选择条件只会命中目标集群;无法自行确认时,请让平台管理员核对。
  4. 输入和输出路径可用:训练命令使用容器内路径读取数据;需要保留的 checkpoint、日志和结果写入已经确认可用的持久存储。
  5. 能够判断任务是否正常:知道日志或输出中第一个有效业务信号是什么,以及出现哪些情况时应停止任务。

确认关键条件后再提交

  • Header 角色只创建 1 个 Worker;
  • 镜像、运行命令和配置来源明确;
  • 节点选择范围、GPU/设备容量和必要的存储条件已经确认;
  • 任务连接机器人或其他真实设备时,已经完成当前环境要求的安全审批和现场确认。

任一条件仍待确认时,请暂停提交并取得所需信息。

创建任务弹窗会自动检查的内容

在切换步骤或提交时,页面会检查:

  • 任务名称格式;
  • 角色名称是否为空或重复,以及是否选择 Header 角色;
  • 每个角色是否选择集群、填写镜像,并在所选集群内匹配至少一个节点;
  • 页面能够计算 GPU 上限时,请求是否超过该上限;
  • 挂载是否填写必要路径,对象存储挂载是否选择 StorageClass;
  • 公共运行脚本是否为空。

这些检查覆盖弹窗生成 Job YAML 所需的表单条件。任务提交后,还要按确认 RLinf 任务是否正常运行核对 Worker、Ray、业务信号和持久输出。

按任务情况补充检查 ​

根据当前任务的资源和运行方式选择对应行,并在提交前完成右侧检查。

当前任务具有这些情况提交前需要确认
第一次使用某个 RLinf 版本、fork、补丁或 Hydra 配置固定代码 ref 和镜像版本;需要复现时,同时记录该版本实际对应的 digest。使用该工作负载自身支持的方式检查 Hydra 组合与最终配置。不要直接运行可能初始化集群或访问硬件的训练入口来测试配置。
使用多节点、多个 node_groups 或不同 Worker 运行条件按规划多节点和异构 Worker核对 Worker 数量、GPU、RLINF_NODE_RANK、资源编号和组件共享关系。
使用新镜像,或不同角色使用不同镜像确认每个镜像都包含 bash、Ray CLI、名为 python 的可执行文件和业务入口,并核对 Ray、Python、CUDA/驱动及通信协议兼容性。
使用对象存储、主机目录、跨集群网络或真实设备分别核对目标集群中的挂载、读写、网络或设备条件。参见在训练任务中使用存储、网络域、查看机器人和摄像头资源和使用真实设备前的安全要求。
任务依赖特定 CPU、内存、/dev/shm、额外容器或其他自定义 Pod 字段创建任务弹窗不能配置这些内容。不要继续使用该弹窗提交,请向平台管理员确认当前环境支持的配置方式。

节点、镜像、存储或网络条件无法自行确认时,只需向平台管理员说明每组 Worker 的数量、GPU/设备、镜像引用、输入输出位置和网络需求,并取得填写任务所需的信息。管理员侧的核对方法见为训练任务确认运行条件。

建议保存运行记录 ​

为便于核对结果或重现运行,建议保存:

  • RLinf 代码 ref 和完整的镜像版本记录;
  • 数据、模型、checkpoint 和输出位置;
  • 最终 Job YAML;
  • 预期的首个业务信号和停止条件。

不要在运行记录、Job YAML、日志或截图中保存密码、令牌、私钥、对象存储密钥或镜像仓库凭据。

提交后出现问题时 ​

无需在提交前逐项排除所有可能故障。任务提交后没有达到预期时,先按首次运行问题排查找到最早出现问题的环节,再查看训练任务与 Worker 排障或存储排障。

准备提交时,继续阅读创建训练任务;任务启动后,按确认 RLinf 任务是否正常运行核对 Worker、Ray、业务信号和持久输出。