主题
上传和下载文件
在文件浏览器中,可以把一个或多个文件上传到当前对象键前缀,也可以为单个对象生成临时下载链接。
文件操作通过页面显示的集群访问对象存储。存储配置关联多个集群时,这些操作不能证明其他集群也能挂载或读写;请在任务实际运行的集群另行验证。
上传前检查目标位置
上传前,请确认:
- 页面中的集群、StorageClass 和当前路径均正确。
- 账号对目标 Bucket 具有写入权限。
- 文件不包含不应进入共享存储的凭据、个人信息或其他敏感内容。
- 当前路径下没有需要保留的同名对象。
同名对象可能被覆盖
上传后的对象键由“当前前缀 + 本地文件名”组成。同名键可能直接覆盖已有对象,控制台不会另行确认。无法确定目标对象键时,请停止上传。
适合上传到对象存储的内容包括数据集、模型权重、检查点、经过脱敏的任务输入,以及需要跨 Pod 生命周期保留的结果。上传前请确认数据来源、版本、使用权限和目标前缀,避免不同实验写入同一个对象键。
以下内容不要作为普通对象上传:
- Access Key、SSH 私钥、临时签名链接或其他凭据。
- 只在当前容器中使用、可以重新生成的缓存和临时文件。
- 应通过镜像版本管理的程序和系统依赖。
- 未经授权共享的个人信息、生产数据或受合规要求约束的数据。
需要长期维护的脚本和配置模板应先纳入版本控制。确需作为任务输入上传时,请使用不含凭据的固定版本,并记录对应的 Job。
上传文件
- 从存储配置打开目标集群的文件浏览器。
- 进入目标前缀,再次核对面包屑路径。
- 选择上传,然后选择一个或多个文件。
- 等待所有文件上传完成。多个文件会依次提交,完成前不要关闭页面。
- 在列表中核对对象名称、大小和更新时间。
上传入口不会保留本地文件夹层级。一次选择的多个文件都会写入当前前缀;如需写入不同层级,请分别进入相应前缀后上传。
下载文件
- 在列表中找到对象,并核对完整对象键。
- 选择该对象的下载操作。
- 控制台会生成临时签名链接,并通过新页面或浏览器下载流程打开该链接。
- 下载完成后,核对文件大小或内容。
下载链接的有效期为一小时。链接过期后,请从文件浏览器重新发起下载。不要转发签名链接;链接有效期间,获得链接的人可能无需再次进入控制台即可访问该对象。
让作业读取文件
上传完成后,还需在作业中配置存储挂载:
- 在作业角色中选择同一个 StorageClass。
- 设置容器挂载路径。
- 让准备脚本或运行命令从该挂载路径读取对象。
如需保留训练输出,请让应用把检查点、事件文件和最终结果写入挂载路径。写入默认工作目录或容器文件系统中的其他位置,不会因为作业配置了挂载而自动持久化。挂载到镜像已有内容的目录时,卷会遮蔽镜像中的同名目录;路径规划参见存储概念。
停止或删除任务前,请按完整对象键确认预期输出已经出现,并抽样下载校验。页面每次最多加载 100 个对象;没有看到目标对象时,请进入更精确的前缀,或请存储管理员从对象存储侧核对。
作业挂载的路径对应关系、StorageClass 获取方式和读写检查见在训练任务中使用存储;创建表单的完整操作见创建训练任务。