主题
为训练任务确认运行条件
当任务提交者无法确定可用集群、节点标签、资源、镜像、存储或网络条件时,平台管理员可以按本页核对当前环境,并返回创建任务时可以直接使用的值。
本页不要求管理员设计 RLinf 的 Worker 布局,也不判断算法或 Hydra 配置是否正确。多节点或异构任务的提交者应先按照规划多节点和异构 Worker确定所需 Worker 和资源;真机任务还需要完成独立的现场安全审批。
收集任务需要的运行条件
请任务提交者提供以下非敏感信息:
- 每个角色需要的 Worker 数量,以及哪个角色是 Header;
- 镜像地址和明确版本,以及目标运行命令;
- 每个 Worker 的 CPU、内存、GPU、扩展设备和共享内存需求;
- 输入、输出和 checkpoint 的存储方式与容器路径;
- 是否需要跨集群网络、SSH、WebTerminal 或真实设备。
信息不完整时,请任务提交者补充,不要根据现有节点或历史 Job 猜测任务要求。
确认集群、节点选择和 Worker 数量
- 为每个角色确认完整的
nodeSelector。每个标签键只填写一个值;需要组合多个条件时,请使用不同的标签键。 - 在当前环境的全部 Node 和命名空间中应用完整选择器,记录所有匹配 Node 及其所属集群。
- 确认所有匹配项都属于预期集群,并检查 Node 当前为 Online 且未停止调度。
- 确认 Header 角色恰好匹配 1 个 Node;其他角色的匹配数量应符合任务提交者提供的期望副本数。
- 标出同时被多个角色匹配的 Node。选择范围可以重叠,但匹配数量、Worker 和资源申请会按角色分别计算。
核对节点标签的全局匹配范围
创建向导的集群字段只筛选候选项,不会作为独立字段写入 Job。请在整个目标环境中核对相同标签匹配到的 Node,并把完整结果提供给任务用户。
确认资源和镜像
- 在每个可能匹配的节点检查任务需要的 GPU 和扩展设备,并确认 CPU、内存和共享内存要求有可用的配置方式。
- 多个角色可能落到同一个节点时,按角色合计该节点可能承载的 GPU、设备、CPU、内存和共享内存需求,不能只分别检查每个角色。
- 确认节点标签、污点和容忍关系不会阻止调度。
- 从每个目标数据面确认指定镜像地址和版本可以拉取,并记录检查时间。镜像需要凭据时,只说明当前环境采用的凭据注入方式,不要返回凭据内容。
- 向任务提交者说明:当前创建向导不能配置 CPU、内存或
/dev/shm。任务必须声明这些字段时,应停止使用创建向导并采用当前环境支持的提交方式。
确认存储
- 对象存储:确认准确的 StorageClass 名称和适用集群,输入对象或前缀可读,输出和 checkpoint 前缀可写并可重新读取;同时说明配额、保留、备份和恢复限制。不要向任务提交者提供凭据内容。
- 主机目录(
hostPath):在每个可能匹配的节点分别确认绝对路径、数据版本、剩余空间、容器用户的读写权限和清理方式,不能用一个节点的检查结果代表其他节点。 - 确认容器挂载路径不会遮蔽镜像中仍需使用的程序或配置。
- 多个 Worker 需要共享挂载时,确认目标集群的 CSI 驱动和后端支持相应的跨节点挂载及并发访问方式,并向任务提交者说明是否必须使用互不冲突的输出前缀。
按需确认网络、访问和设备
- 只有任务需要跨集群通信时,才确认可用 Domain、目标端口、容器内通信接口和双向连通结果。
- 只有确有诊断需要时,才说明 SSH 或 WebTerminal 的可用范围、连接参数和审计要求。
- 需要 Secret 时,只返回当前环境支持的注入方式和申请途径,不要把密码、令牌、私钥或存储密钥写入回复。
- 任务可能连接真实机器人或其他物理执行器时,运行环境检查不能代替设备独占、急停、断能和现场安全确认。
返回可以直接填写的信息
返回的信息应包括:
- 环境名称、RLark 版本或 commit,以及检查时间;
- 每个角色的目标集群、完整选择器、全部匹配 Node 和匹配数量,以及跨角色重复匹配的 Node;
- 各匹配节点的在线、可调度和资源检查结果;
- 镜像拉取结果;准确的 StorageClass、适用集群和读写范围,或已检查的主机目录及适用节点;网络和访问条件;
- 当前环境的已知限制,以及需要任务提交者继续确认的项目。
只提供创建任务所需的非敏感结果。任一关键条件尚未确认时,请明确指出缺少的检查,不要把历史运行结果或页面可见状态当作当前任务可以运行的证明。