堆栈内存溢出
  繁体   English   中英

深度学习中二进制分类问题的准确性和损失波动

[英]Accuracy and loss fluctuating in binary classification problem in deep learning

 原文  2022-11-29 01:43:20  9   1    python/ tensorflow/ machine-learning/ deep-learning/ classification

问题描述

我目前正在研究 UNet 上的中风分类问题。 该任务基于病变区域的大小（大 - 1，小 - 0）。 请注意，标签实际上是我制作的（我会尝试改进它），因此它们不是那么准确。 当我训练 20 个 epoch 时，我的准确率在 0.5 左右波动，损失在 0.6 左右，这基本上表明我的 model 做出了随机选择。 那么我应该怎么做才能让我的model重新学习呢？

这是我正在使用的 .net：

`import keras_unet
def define_unet(n_filters=neuron,
                    n_layers=4,
                    dropout_rate=0.25):
    model_unet = keras_unet.models.custom_unet(input_shape=(img_size, img_size, 3),
                                              activation='relu',
                                              use_batch_norm=True,
                                              upsample_mode='deconv',
                                              dropout=dropout_rate,
                                              dropout_type='spatial',
                                              filters=n_filters,
                                              num_layers=n_layers,
                                              output_activation='linear'
                                              )
    
    GAP = keras.layers.GlobalAveragePooling2D()(model_unet.output)        
    outputs = keras.layers.Dense(1,activation = 'sigmoid')(GAP)
    model_unet = keras.Model(inputs = model_unet.input, outputs = outputs)
#bce is just the binary crossentropy
    model_unet.compile(optimizer=adam, loss=bce_loss,metrics=['accuracy'])
    model_unet.summary()

    return model_unet`

这是超参数：

`learning_rate = 0.0001
epochs = 20
dropout_rate = 0.2
batch_size = 16
kernel_size = 3
neuron = 8
adam = keras.optimizers.Adam(learning_rate=learning_rate)`

我的数据集包含 1000 张图像，比例为 80:20 用于训练和验证，我使用的是 batch_size = 16。这是用于 acc 和 loss 的 plot：

acc_plot 损失图

我尝试实施一些学习率但没有成功:(

在此先感谢您的帮助。！！ 任何建议，将不胜感激。

1 个解决方案

解决方案1
 0  2022-11-29 03:06:38

有许多方差，包括样本和模型，以提高二元类熵作为单一目标的准确性。 要首先提高精度，您需要使用正确的测量值，当您使用 0 到 1 作为浮点数的 label 时，精度矩阵可以正常工作，因为它是二进制交叉熵，它可能反映负数结果，因为它来自 label 值的平方不同.

它不是波动的损失和准确性，但你需要使用正确的方法，二元交叉熵作为单一是一个非常快的驱动器，但转折点的返回是确定性的。

示例：您可以应用所有 output 的平均值或简单的临界点。

plt.figure(figsize=(5,2))
plt.title("Actors recognitions")
for i in range(len(list_file)):
    img = tf.keras.preprocessing.image.array_to_img(
        list_file[i],
        data_format=None,
        scale=True
    )
    img_array = tf.keras.preprocessing.image.img_to_array(img)
    img_array = tf.expand_dims(img_array, 0)
    predictions = model.predict(img_array)
    score = tf.nn.softmax(predictions[0])
    
    plt.subplot(5, 2, i + 1)
    plt.xticks([])
    plt.yticks([])
    plt.grid(False)
    plt.imshow(list_file_actual[i])
    
    if predictions[0] > 0.51 :
        plt.xlabel(str(list_label_actual[1]) + " score: " + str(predictions[0]))
    else :
        plt.xlabel(str(list_label_actual[0]) + " score: " + str(predictions[0]))

示例：您可以尝试使用向量来改进结果。

import os
from os.path import exists

import tensorflow as tf
import tensorflow_io as tfio

import matplotlib.pyplot as plt

"""""""""""""""""""""""""""""""""""""""""""""""""""""""""
[PhysicalDevice(name='/physical_device:GPU:0', device_type='GPU')]
None
"""""""""""""""""""""""""""""""""""""""""""""""""""""""""
physical_devices = tf.config.experimental.list_physical_devices('GPU')
assert len(physical_devices) > 0, "Not enough GPU hardware devices available"
config = tf.config.experimental.set_memory_growth(physical_devices[0], True)
print(physical_devices)
print(config)

"""""""""""""""""""""""""""""""""""""""""""""""""""""""""
Variables
"""""""""""""""""""""""""""""""""""""""""""""""""""""""""
PATH = os.path.join('F:\\datasets\\downloads\\Actors\\train\\Pikaploy', '*.tif')
PATH_2 = os.path.join('F:\\datasets\\downloads\\Actors\\train\\Candidt Kibt', '*.tif')
files = tf.data.Dataset.list_files(PATH)
files_2 = tf.data.Dataset.list_files(PATH_2)

list_file = []
list_file_actual = []
list_label = []
list_label_actual = [ 'Pikaploy', 'Candidt Kibt' ]
for file in files.take(5):
    image = tf.io.read_file( file )
    image = tfio.experimental.image.decode_tiff(image, index=0)
    list_file_actual.append(image)
    image = tf.image.resize(image, [32,32], method='nearest')
    list_file.append(image)
    # list_label.append([0, 0])
    list_label.append([0.0])
    
for file in files_2.take(5):
    image = tf.io.read_file( file )
    image = tfio.experimental.image.decode_tiff(image, index=0)
    list_file_actual.append(image)
    image = tf.image.resize(image, [32,32], method='nearest')
    list_file.append(image)
    # list_label.append([1, 1])
    list_label.append([1.0])

checkpoint_path = "F:\\models\\checkpoint\\" + os.path.basename(__file__).split('.')[0] + "\\TF_DataSets_01.h5"
checkpoint_dir = os.path.dirname(checkpoint_path)
loggings = "F:\\models\\checkpoint\\" + os.path.basename(__file__).split('.')[0] + "\\loggings.log"

if not exists(checkpoint_dir) : 
    os.mkdir(checkpoint_dir)
    print("Create directory: " + checkpoint_dir)
    
log_dir = checkpoint_dir

"""""""""""""""""""""""""""""""""""""""""""""""""""""""""
DataSet
"""""""""""""""""""""""""""""""""""""""""""""""""""""""""
# dataset = tf.data.Dataset.from_tensor_slices((tf.constant(tf.cast(list_file, dtype=tf.int64), shape=(10, 1, 32, 32, 4), dtype=tf.int64),tf.constant(list_label, shape=(10, 1, 2), dtype=tf.int64)))
dataset = tf.data.Dataset.from_tensor_slices((tf.constant(tf.cast(list_file, dtype=tf.int64), shape=(10, 1, 32, 32, 4), dtype=tf.int64),tf.constant(list_label, shape=(10, 1, 1), dtype=tf.float32)))

"""""""""""""""""""""""""""""""""""""""""""""""""""""""""
: Model Initialize
"""""""""""""""""""""""""""""""""""""""""""""""""""""""""
model = tf.keras.models.Sequential([
    tf.keras.layers.InputLayer(input_shape=( 32, 32, 4 )),
    tf.keras.layers.Normalization(mean=3., variance=2.),
    tf.keras.layers.Normalization(mean=4., variance=6.),
    tf.keras.layers.Conv2D(32, (3, 3), activation='relu'),
    tf.keras.layers.MaxPooling2D((2, 2)),
    tf.keras.layers.Dense(128, activation='relu'),
    tf.keras.layers.Reshape((128, 225)),
    tf.keras.layers.Bidirectional(tf.keras.layers.LSTM(96, return_sequences=True, return_state=False)),
    tf.keras.layers.Bidirectional(tf.keras.layers.LSTM(96)),
    tf.keras.layers.Flatten(),
    tf.keras.layers.Dense(192, activation='relu'),
    tf.keras.layers.Dense(1, activation='sigmoid'),
])

"""""""""""""""""""""""""""""""""""""""""""""""""""""""""
: Optimizer
"""""""""""""""""""""""""""""""""""""""""""""""""""""""""
# optimizer = tf.keras.optimizers.SGD(
    # learning_rate=0.001,
    # momentum=0.0,
    # nesterov=False,
    # name='SGD',# )

optimizer = tf.keras.optimizers.Nadam(
    learning_rate=0.00001, beta_1=0.9, beta_2=0.999, epsilon=1e-07,
    name='Nadam'
)

"""""""""""""""""""""""""""""""""""""""""""""""""""""""""
: Loss Fn
"""""""""""""""""""""""""""""""""""""""""""""""""""""""""                               
lossfn = tf.keras.losses.BinaryCrossentropy(
    from_logits=False,
    label_smoothing=0.0,
    axis=-1,
    reduction=tf.keras.losses.Reduction.AUTO,
    name='binary_crossentropy'
)

"""""""""""""""""""""""""""""""""""""""""""""""""""""""""
: Model Summary
"""""""""""""""""""""""""""""""""""""""""""""""""""""""""
model.compile(optimizer=optimizer, loss=lossfn, metrics=['accuracy'])

"""""""""""""""""""""""""""""""""""""""""""""""""""""""""
: Callback
"""""""""""""""""""""""""""""""""""""""""""""""""""""""""
class custom_callback(tf.keras.callbacks.Callback):
    def on_epoch_end(self, epoch, logs={}):
        # if( logs['loss'] <= 0.2 ):
            # self.model.stop_training = True
        if( logs['accuracy'] >= 0.95 ):
            self.model.stop_training = True
    
custom_callback = custom_callback()

"""""""""""""""""""""""""""""""""""""""""""""""""""""""""
: FileWriter
"""""""""""""""""""""""""""""""""""""""""""""""""""""""""
if exists(checkpoint_path) :
    model.load_weights(checkpoint_path)
    print("model load: " + checkpoint_path)
    input("Press Any Key!")

"""""""""""""""""""""""""""""""""""""""""""""""""""""""""
: Training
"""""""""""""""""""""""""""""""""""""""""""""""""""""""""
history = model.fit( dataset, validation_data=dataset, batch_size=10, epochs=10000, callbacks=[custom_callback] )
model.save_weights(checkpoint_path)

plt.figure(figsize=(5,2))
plt.title("Actors recognitions")
for i in range(len(list_file)):
    img = tf.keras.preprocessing.image.array_to_img(
        list_file[i],
        data_format=None,
        scale=True
    )
    img_array = tf.keras.preprocessing.image.img_to_array(img)
    img_array = tf.expand_dims(img_array, 0)
    predictions = model.predict(img_array)
    score = tf.nn.softmax(predictions[0])
    
    plt.subplot(5, 2, i + 1)
    plt.xticks([])
    plt.yticks([])
    plt.grid(False)
    plt.imshow(list_file_actual[i])
    
    if predictions[0] > 0.51 :
        plt.xlabel(str(list_label_actual[1]) + " score: " + str(predictions[0]))
    else :
        plt.xlabel(str(list_label_actual[0]) + " score: " + str(predictions[0]))

plt.show()

plt.plot(history.history['accuracy'], label='accuracy')
plt.plot(history.history['val_accuracy'], label = 'val_accuracy')
plt.xlabel('Epoch')
plt.ylabel('Accuracy')
plt.ylim([0.5, 1])
plt.legend(loc='lower right')

plt.show()

Output 结果： 样本

准确性与纪元： 样本

暂无
暂无

声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 文本二元分类训练期间的波动损失 在运行深度学习 model 进行测试分类时，val-loss 增加而 val-accuracy 降低 二进制分类问题的准确性极高 Keras 在二元分类问题中准确率停留在 50% 为什么深度学习中Keras的准确性总是0.00％且损失很大 如何在损失正常的情况下修复深度学习中的零精度 深度学习：数据增强时损失和准确性较低 使用Tensorflow在二进制分类中更改精度值且损失值不变 TensorFlow中的二进制分类，意外的大损失和准确值 如何在训练过程中纠正不稳定的损失和准确率？ （二元分类）
相关标签
 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM