跳到主要内容

数据存储

关于 GPUGEEK 存储方案有如下:

挂载目录类型权限/速度说明
/实例系统盘读写/最快存放代码、项目、虚拟环境等,备份镜像会一起保存
/gz-data实例数据盘读写/最快存放数据集/模型,适合对IO有较高场景,备份镜像不保存
/gz-fs实例网盘读写/一般实现同数据中心且同一个账号下所有实例间数据共享
/gz-datasets公共数据集只读/一般公共训练数据集,需复制到 /gz-data/ 目录下再进行训练使用
/gz-models公共模型只读/一般公共模型数据,需复制到 /gz-data/ 目录下再进行推理使用

实例系统盘

实例系统盘为实例的 / 根目录空间,该目录使用服务器本地 NVME 盘,读写速度 IO 最快,该目录默认存储空间为 30GB,可在 GPUGEEK控制台 进行查看使用率。

实例系统盘推荐存放 训练代码、项目、condapip 等虚拟环境,不推荐将较大的训练数据或推理模型放置该目录中。

实例系统盘中的数据会跟随 【备份镜像】一起保存,以便在需要时进行恢复。

危险
  1. 请不要将实例系统盘 / 根路径存放超过 95%,否则将会导致实例无法正常启动
  2. 有些项目训练数据默认保存路径为 /root/tmp 目录,请检查后修改到 /gz-data 目录

实例数据盘

实例数据盘为实例的 /gz-data 目录,该目录同样使用服务器本地 NVME 盘,读写速度 IO 最快,该目录默认存储空间为 20GB

可在 GPUGEEK控制台 进行查看使用率,以及对应实例 -- 更多 -- 扩容数据盘 来进行对该目录扩容来满足需求。

实例数据盘推荐存放 数据集、模型等较大数据,因实例数据可扩容,而实例系统盘无法扩容,所以建议将大数据存储至数据数据盘中。

实例数据盘中的数据不会跟随【备份镜像】一起保存,因此如果实例被删除或需要重建,数据盘上的数据会丢失。

实例网盘

实例网盘为实例的 /gz-fs 目录,该目录为实例同一个数据中心的分布式存储,对于较大的文件或者压缩文件有着不错的读写性能,但对于上十万、上百万的零散小文件读写速度会显的有些逊色。

/gz-fs 目录适合实例关机或者实例释放前,将所需要的数据备份至该目录进行长期存储。

提示

/gz-fs 实例网盘不同的数据中心有着不同的网盘存储,跨数据中心的网盘数据不互通。

同一个账号同一个数据中心下创建的多个实例会同时挂载 /gz-fs 目录并进行共享,可用于同一个账号下的多个实例间数据共享、数据备份等。

可在控制台中 网盘存储 来查看、上传网盘中的数据。

公共数据集

公共数据集在实例的 /gz-datasets

该目录为 GPUGEEK 平台官方运营人员所进行收集并放置到该目录中,该目录在实例中允许只读。

提示

如该目录有您所需要的数据集,需复制数据集到 /gz-data 目录后再进行训练使用,直接读取 /gz-datasets 目录中的数据集可能会影响您的训练进度,如该情况发生,平台并不为此所承担任何责任。

如果该目录中没有您所需要的数据集,可 提交工单 申请添加数据集,工作人员将会在3-5个工作日内进行处理。

公共模型

公共模型在实例的 /gz-models 目录。

该目录为 GPUGEEK 平台官方运营人员所进行收集并放置到该目录中,该目录在实例中允许只读。

提示

如该目录有您所需要的模型,需复制数据集到 /gz-data 目录后再进行推理使用,直接读取 /gz-models 目录中的模型可能会影响您的训练进度,如该情况发生,平台并不为此所承担任何责任。

如果该目录中没有您所需要的模型,可 提交工单 申请添加模型,工作人员将会在3-5个工作日内进行处理。