跳到主要内容

最佳实践

📄️ 数据训练定期保存数据

在数据训练过程中,可能会出现 GPU掉卡、GPU故障、网络波动、流量负载过高、网络中断、机器硬件故障、机器宕机、数据训练中到第 N 个批次被实例系统自动 OOM 被迫终止等问题,这些问题一旦发生,如果没有适当的措施来保存训练进度,可能会导致之前的训练成果丢失,从而需要从头开始训练。这不仅浪费了宝贵的时间和计算资源,还可能增加研究和开发的工作量。