轻量级PyTorch通用训练模板pytorch-accelerated解析:3 -- API之Schedulers
简介
这一章将研究pytorch-accelerated的调度器API。
PyTorch-accelerated提供了一些调度器的实现,可以在任何PyTorch训练循环中使用。然而,与PyTorch的原生调度器不同——这些原生调度器可以在训练循环的不同点上被调用——所有Pytorch-accelerated调度器都期望在每次优化器更新后被调用。
内置调度器
PyTorch-accelerated内置了一个有状态的余弦退火学习率调度器,基于这篇论文,但没有论文中的restart。
这个调度器与PyTorch的CosineAnnealingLR不同,它提供了增加warmup和cooldown的e