如何在 Keras 中使用 class 權重進行圖像分割

Question

我正在嘗試使用用Keras實現的 U-Net 版本來分割醫學圖像。 我的網絡的輸入是 3D 圖像，輸出是兩個單熱編碼的 3D 分割圖。 我知道我的數據集非常不平衡（沒有那么多可分割），因此我想使用 class 權重來計算我的損失 function （當前為binary_crossentropy ）。 有了 class 權重，我希望 model 將更多地關注它必須分割的小東西。

如果您知道數據庫的不平衡，可以將參數class_weight傳遞給model.fit() 。 這也適用於我的用例嗎？

Answer 1

在上述 github 問題的幫助下，我設法解決了我的特定用例的問題。 無論如何，我想與您分享解決方案。 一個額外的障礙是我正在為我的數據使用自定義生成器。 此 class 的簡化版本是以下代碼：

import numpy as np
import keras

class DataGenerator(keras.utils.Sequence):
    'Generates data for Keras'
    def __init__(self, list_IDs, batch_size=2, dim=(144,144,144), n_classes=2):
        'Initialization'
        self.dim = dim
        self.batch_size = batch_size
        self.list_IDs = list_IDs
        self.n_classes = n_classes
        self.on_epoch_end()

    def __len__(self):
        'Denotes the number of batches per epoch'
        return int(np.floor(len(self.list_IDs) / self.batch_size))

    def __getitem__(self, index):
        'Generate one batch of data'
        # Generate indexes of the batch
        indexes = self.indexes[index*self.batch_size:(index+1)*self.batch_size]

        # Find list of IDs
        list_IDs_temp = [self.list_IDs[k] for k in indexes]

        # Generate data
        x, y = self.__data_generation(list_IDs_temp)

        return x, y

    def __data_generation(self, list_IDs_temp):
        'Generates data containing batch_size samples' # X : (n_samples, *dim, 1)
        # Initialization
        x = np.empty((self.batch_size, *self.dim, 1))
        y = np.empty((self.batch_size, *self.dim, 1))

        # Generate data
        for i, ID in enumerate(list_IDs_temp):
            # Load dataset
            data = np.load('data/' + ID + '.npy')

            # Store x and y
            x[i,] = data[:, :, :, 0]  # Image
            y[i,] = data[:, :, :, 1]  # Mask

        # One-hot-encoding
        y = keras.utils.to_categorical(y, num_classes=self.n_classes)

        return x, y

實際上，幾行代碼就可以解決問題。 使用額外的輸入參數class_weights到我的生成器，將 class 權重轉換為__getitem__()方法中每個單獨批次的樣本權重的行，以及以相同方法返回樣本權重的行，我解決了這個問題。 class 權重作為具有以下結構的列表輸入： class_weights = [weight_class_0, weight_class_1] 。 我的基本生成器 class 現在看起來像這樣（我用注釋標記了更改）：

import numpy as np
import keras

class DataGenerator(keras.utils.Sequence):
    'Generates data for Keras'
    def __init__(self, list_IDs, class_weights, batch_size=2, dim=(144,144,144), 
                 n_classes=2):
        'Initialization'
        self.dim = dim
        self.batch_size = batch_size
        self.list_IDs = list_IDs
        self.n_classes = n_classes
        self.class_weights = class_weights  # CLASS WEIGHTS FIX
        self.on_epoch_end()

    def __len__(self):
        'Denotes the number of batches per epoch'
        return int(np.floor(len(self.list_IDs) / self.batch_size))

    def __getitem__(self, index):
        'Generate one batch of data'
        # Generate indexes of the batch
        indexes = self.indexes[index*self.batch_size:(index+1)*self.batch_size]

        # Find list of IDs
        list_IDs_temp = [self.list_IDs[k] for k in indexes]

        # Generate data
        x, y = self.__data_generation(list_IDs_temp)

        # Compute sample weights CLASS WEIGHTS FIX
        sample_weights = np.take(np.array(self.class_weights), np.round(y[:, :, :, :, 1]).astype('int'))

        return x, y, sample weights  # CLASS WEIGHTS FIX

    def __data_generation(self, list_IDs_temp):
        'Generates data containing batch_size samples' # X : (n_samples, *dim, 1)
        # Initialization
        x = np.empty((self.batch_size, *self.dim, 1))
        y = np.empty((self.batch_size, *self.dim, 1))

        # Generate data
        for i, ID in enumerate(list_IDs_temp):
            # Load dataset
            data = np.load('data/' + ID + '.npy')

            # Store x and y
            x[i,] = data[:, :, :, 0]  # Image
            y[i,] = data[:, :, :, 1]  # Mask

        # One-hot-encoding
        y = keras.utils.to_categorical(y, num_classes=self.n_classes)

        return x, y

它可能看起來有點像一個神奇的單線，但是sample_weights = np.take(np.array(self.class_weights), np.round(y[:, :, :, :, 1]).astype('int'))的作用如下：它采用屬於不那么常見的 class 的 y 值，在我的例子中是要分割的，並給這個 3D 圖像中的每個像素一個樣本權重。 該樣本權重是常見的 class 的 class 權重或不常見的 class，具體取決於像素也屬於哪個 ZA2F2ED4F8EBC406CBBDZC21A29。

The output of this generator class can be then used in the model.fit() method of the Keras model as long as sample_weight_mode="temporal" is passed to model.compile() .