[英]training on imdb dataset with tensorflow2/keras give strange result
我是 tensorflow2/keras 的新手。 我在 tensorflow 網站上關注本 教程。 我沒有將文本數據下載到目錄,而是使用tensorflow_datasets
將 imdb 數據集直接加載到 tensors/numpy arrays。 下面是我的代碼。
import os
import re
import string
import pandas as pd
import numpy as np
import tensorflow as tf
import tensorflow_hub as hub
import tensorflow_datasets as tfds
import matplotlib.pyplot as plt
from tensorflow.keras import layers
from tensorflow.keras.layers.experimental.preprocessing import TextVectorization
print("Version: ", tf.__version__)
print("Eager mode: ", tf.executing_eagerly())
print("Hub version: ", hub.__version__)
print("GPU is", "available" if tf.config.list_physical_devices('GPU') else "NOT AVAILABLE")
train_data, test_data = tfds.load(name="imdb_reviews", split=["train", "test"],
batch_size=-1, as_supervised=True)
X_train, y_train = tfds.as_numpy(train_data)
X_test, y_test = tfds.as_numpy(test_data)
# process text
def custom_standardization(input_data):
lowercase = tf.strings.lower(input_data)
stripped_html = tf.strings.regex_replace(lowercase, '<br />', ' ')
return tf.strings.regex_replace(stripped_html,
'[%s]' % re.escape(string.punctuation),
'')
max_features = 1000
sequence_length = 50
vectorize_layer = TextVectorization(
standardize=custom_standardization,
max_tokens=max_features,
output_mode='int',
output_sequence_length=sequence_length)
# Make a text-only dataset (without labels), then call adapt
vectorize_layer.adapt(X_train)
def vectorize_text(text):
text = tf.expand_dims(text, -1)
return vectorize_layer(text)
#check data
first_review, first_label = X_train[0], y_train[0]
print("Review", first_review)
print("Vectorized review", vectorize_text(first_review))
print("11 ---> ",vectorize_layer.get_vocabulary()[11])
print(" 44 ---> ",vectorize_layer.get_vocabulary()[44])
print('Vocabulary size: {}'.format(len(vectorize_layer.get_vocabulary())))
# vectorize both train and test text data
X_train = vectorize_text(X_train)
X_test = vectorize_text(X_test)
embedding_dim = 16
#define and compile model
model = tf.keras.Sequential([
layers.Embedding(max_features + 1, embedding_dim),
layers.GlobalAveragePooling1D(),
layers.Dropout(0.2),
layers.Dense(256, activation='relu'),
layers.Dropout(0.2),
layers.Dense(1)])
model.summary()
model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])
# fit the model
history = model.fit(X_train, y_train, epochs=5, batch_size=32, verbose=2, validation_data=(X_test, y_test))
我得到的output如下:
_________________________________________________________________
Epoch 1/5
782/782 - 4s - loss: 0.0000e+00 - accuracy: 0.5000 - val_loss: 0.0000e+00 - val_accuracy: 0.5000
Epoch 2/5
782/782 - 4s - loss: 0.0000e+00 - accuracy: 0.5000 - val_loss: 0.0000e+00 - val_accuracy: 0.5000
Epoch 3/5
782/782 - 4s - loss: 0.0000e+00 - accuracy: 0.5000 - val_loss: 0.0000e+00 - val_accuracy: 0.5000
Epoch 4/5
782/782 - 4s - loss: 0.0000e+00 - accuracy: 0.5000 - val_loss: 0.0000e+00 - val_accuracy: 0.5000
Epoch 5/5
782/782 - 4s - loss: 0.0000e+00 - accuracy: 0.5000 - val_loss: 0.0000e+00 - val_accuracy: 0.5000
准確率都是50%。 出問題了? 我很困惑為什么會這樣,我正在按照教程進行操作。 從頭開始訓練嵌入層。 花了幾個小時試圖找出原因? 有誰知道為什么出錯了? 謝謝!
您的密集層是linear
的,這意味着您沒有傳遞任何激活。 有幾種解決方案,因為您正在執行binary_classification
。
如果您想按原樣使用Dense(1)
,則應將 loss function 更改為:
model.compile(optimizer='adam', loss=tf.keras.losses.BinaryCrossentropy(from_logits=True),
metrics=['accuracy'])
或者你可以使用Dense(1, activation = tf.nn.sigmoid)
,那么你的損失 function 應該是:
model.compile(optimizer='adam', loss='binary_crossentropy',
metrics=['accuracy'])
或者另一種解決方案,如果您的標簽是一個熱編碼,您可以設置Dense(2, activation = tf.nn.softmax)
然后 loss function 可以是:
model.compile(optimizer='adam', loss='categorical_crossentropy',
metrics=['accuracy'])
我通過更改復制了您的確切代碼:
layers.Dense(1, activation = tf.nn.sigmoid)])
model.compile(optimizer='adam', loss='binary_crossentropy', metrics=
['accuracy'])
得到:
782/782 [==============================] - 4s 5ms/step - loss: 0.4836 - accuracy: 0.7675 - val_loss: 0.5065 - val_accuracy: 0.7447
編輯 2: sigmoid
將您的 output 壓縮到 [0,1] 的范圍內。 例如,要獲得預測,您需要所有x_test
。 X_test[0]
會打亂預測,因為它只包含第一句話。 使用以下方法獲取預測:
y_hat = model.predict(X_test)
y_hat
array([[0.8105568 ],
[0.6332975 ],
[0.20526059],
...,
[0.03132877],
[0.5318063 ],
[0.8626927 ]], dtype=float32)
現在設置一個閾值並將它們轉換為 0 和 1。 這可以通過以下方式完成:
y_pred = [1 * (x[0]>=0.5) for x in y_hat]
y_pred
將包含零和一。 注意這里的閾值為 0.5,這意味着如果來自sigmoid
的 output 大於 0.5,則它屬於第二個 class。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.