如何根据类别不平衡来解释校准曲线？

Question

我正在针对图像分类任务训练深度学习模型。 VGG-16 模型在数据不平衡程度不同的两个不同训练集上单独训练。 第 1 组只有 25% 的阳性样本（第 1 类（阳性，标签：1）：100；第 0 类（阴性，标签：0）：400。 第 2 组只有 80% 的正样本（第 1 类（正，标签：1）：320；第 0 类（负，标签：0）：400。 与 Set-2 相比，Set-1 高度不平衡。 使用相同数量的正负样本（每个 n=100）在共同测试中评估单个训练模型。 由于数据集在 Set-1 和 Set-2 中都不平衡，输出概率不会被校准，因此，我应用温度缩放来重新调整概率。 图 (a) 和 (b) 显示了在 Set-1 上训练的模型校准前后的结果，以及在 Set-2 上训练的模型的 (c) 和 (d)。 我可以观察到预期校准误差和最大校准误差在温度缩放后减少，并且概率被缩放以紧密跟随 y=x 对角线。 然而，目前还不清楚如何从数据不平衡的角度解释校准前和校准后的曲线。 如何根据数据不平衡来解释每个置信区间、校准前/校准后的阳性分数？