共计 1100 个字符，预计需要花费 3 分钟才能阅读完成。
#GPU#
#算力租赁 #
#免费 #
访问 GpuMall.com
https://gpumall.com/login?type=register&source=v2ex
在数据训练过程中，可能会出现 GPU 掉卡、GPU 故障、网络波动、流量负载过高、网络中断、机器硬件故障、机器宕机、数据训练中到第 N 个批次被实例系统自动 OOM 被迫终止等问题，这些问题一旦发生，如果没有适当的措施来保存训练进度，可能会导致之前的训练成果丢失，从而需要从头开始训练。这不仅浪费了宝贵的时间和计算资源，还可能增加研究和开发的工作量。
提示
因此，定期将模型的状态保存到磁盘是非常重要的。这不仅包括模型的参数（权重和偏差），还包括其他关键信息，例如：
当前迭代次数（Epochs）：了解训练进行到哪个阶段。
优化器状态：保存优化器的参数（如学习率、动量等）和内部状态（如 Adam 优化器的一阶和二阶矩估计），这对于训练过程的连续性至关重要。
损失函数的历史记录：这有助于监控模型训练过程中的性能变化。
学习率调整器状态（如果使用）：记录任何动态学习率调整的状态。
使用 PyTorch Checkpoint 或 TensorFlow ModelCheckpoint，开发者可以有效地管理长时间训练过程中的模型状态，确保即使发生中断也能从最近的状态恢复，从而节省时间和计算资源。
PyTorch Checkpoint
PyTorch 框架提供了灵活的保存和加载模型的机制，包括模型的参数、优化器的状态以及其他任何需要保存的信息。在 PyTorch 中，这通常是通过使用 torch.save() 和 torch.load() 函数来实现的。
PyTorch 官方文档提供了不同场景下保存和加载模型的详细指导，包括仅保存模型参数、保存整个模型、保存多个组件（如模型和优化器状态）等。
# 语言模型 #机器学习# 深度学习#gpu 算力
文档链接：Saving and Loading Models – PyTorch
TensorFlow ModelCheckpoint
TensorFlow/Keras 的 ModelCheckpoint 是一个回调函数，用于在训练期间的特定时刻保存模型。这可以是每个 epoch 结束时，或者当某个监视指标（如验证集损失）改善时。
ModelCheckpoint 不仅可以保存模型的最新状态，还可以用于保存训练过程中性能最好的模型。
它允许灵活地配置哪些内容被保存（仅权重、整个模型等）以及如何保存（每次都保存、仅保存最佳模型等）。
文档链接：Save and load models – TensorFlow
# 训练# #推理 #
#免费训练 #
#GpuMall 智算云 #
