如何更改detectron2中的默认优化器

Question

因此，通过阅读文档可以看出，detectron2 中使用的默认优化器是具有动量的 SGD。 但我想知道是否有办法将默认优化器更改为例如 Adam。

我最接近的是查看cfg.SOLVER属性； 特别是cfg.SOLVER.OPTIMIZER 。 我什至查看了他们的源代码，看看是否有不同的优化器选项可用。

但是，我无法更改优化器类型。

任何帮助将不胜感激！

Answer 1

您可以从DefaultTrainer创建一个子类并添加build_optimizer方法。 查看以下使用 Adam 的代码 -

from detectron2.config import CfgNode
from detectron2.solver.build import get_default_optimizer_params, maybe_add_gradient_clipping

class MyTrainer(DefaultTrainer):
    @classmethod
    def build_optimizer(cls, cfg: CfgNode, model: torch.nn.Module) -> torch.optim.Optimizer:
        """
        Build an optimizer from config.
        """
        params = get_default_optimizer_params(
            model,
            base_lr=cfg.SOLVER.BASE_LR,
            weight_decay_norm=cfg.SOLVER.WEIGHT_DECAY_NORM,
            bias_lr_factor=cfg.SOLVER.BIAS_LR_FACTOR,
            weight_decay_bias=cfg.SOLVER.WEIGHT_DECAY_BIAS,
        )
        return maybe_add_gradient_clipping(cfg, torch.optim.Adam)(
            params,
            lr=cfg.SOLVER.BASE_LR,
            weight_decay=cfg.SOLVER.WEIGHT_DECAY,
        )

Answer 2

虽然最好不要修改源代码，但您可能希望在以下几行中更改torch.optim.SGD ：

（第 129 行， detectron2/detectron2/solver/build.py ，在build_optimizer函数内部）

def build_optimizer(cfg: CfgNode, model: torch.nn.Module) -> torch.optim.Optimizer:
    """
    Build an optimizer from config.
    """
    params = get_default_optimizer_params(
        model,
        base_lr=cfg.SOLVER.BASE_LR,
        weight_decay_norm=cfg.SOLVER.WEIGHT_DECAY_NORM,
        bias_lr_factor=cfg.SOLVER.BIAS_LR_FACTOR,
        weight_decay_bias=cfg.SOLVER.WEIGHT_DECAY_BIAS,
    )
    return maybe_add_gradient_clipping(cfg, torch.optim.SGD)(
        params,
        lr=cfg.SOLVER.BASE_LR,
        momentum=cfg.SOLVER.MOMENTUM,
        nesterov=cfg.SOLVER.NESTEROV,
        weight_decay=cfg.SOLVER.WEIGHT_DECAY,
    )