8卡分布式训练在多轮epoch后NaN报错？

[RyGuxch]

我想询问我使用 COCO 数据集进行 8 卡 3090 分布式训练，在训练3-4个epoch后，会出现数值 NaN，这是什么原因？

[RyGuxch]

我解决了上述问题，根源在于models/edpose/utils.py中有这行代码：

output_proposals = torch.log(output_proposals / (1 - output_proposals)) # unsigmoid

我将它改成了：

    output_proposals = output_proposals.clamp(min=eps, max=1 - eps)
    output_proposals = torch.log(output_proposals / (1 - output_proposals))