LSTM 命名实体识别 model - 形状不兼容或逻辑/标签具有不同的尺寸 - Tensorflow 2.9

Question

我正在处理 NLP LSTM 命名实体提取 model 但遇到不同的错误，下面是有关错误的更多详细信息。 我在木星笔记本中运行这段代码

Tensorflow 版本 2.9

input 和 output 的长度都是 50

输入句子：[123 88 170 221 132 52 105 32 211 91 126 211 211 24 221 134 154 154 221 162 215 80 144 101 61 136 68 133 68 133 40 200 133 40 200 133 40 218 131 139 199 199 199 199 124 124 124 124 124 74 184 184 184 184 184 185 221 221 221 221]

output 句子 label : [ 7 7 7 7 0 7 6 2 7 5 1 7 7 7 7 7 7 7 7 10 7 7 7 7 3 8 7 3 8 7 7 7 7 7 7 7 7 6 2 7 7 7 7 7 7 7 7 7 7 7]

最多添加 5 层来训练 model

这是 model：

model = tf.keras.Sequential([

tf.keras.layers.Embedding(num_words, 50, input_length=50),

tf.keras.layers.Bidirectional(tf.keras.layers.LSTM(64, return_sequences=True)),

tf.keras.layers.Bidirectional(tf.keras.layers.LSTM(32)),

tf.keras.layers.Dropout(0.5),

tf.keras.layers.Dense(64, activation=‘relu’),

tf.keras.layers.Dense(num_tags, activation=‘softmax’)
])

如果我将损失 function 用作“categorical_crossentropy”，我会收到此错误： ValueError: Shapes (None, 50) and (None, 11) are incompatible

如果我将损失 function 用作“sparse_categorical_crossentropy”，我会收到此错误：logits 和标签必须具有相同的第一维，得到 logits 形状 [13,11] 和标签形状 [650] [[{{node sparse_categorical_crossentropy/SparseSoftmaxCrossEntropyWithLogits/SparseSoftmaxCrossEntropyWithLogits} }]]

我尝试将输入形状添加为第一层但仍然没有运气tf.keras.layers.Input(shape=(max_len,))

任何人都可以帮助，如何解决这个问题。 尝试了不同的方法但没有运气

这里是model总结

Layer (type)                Output Shape              Param #   
=================================================================
 embedding_18 (Embedding)    (None, 50, 50)            11100     
                                                                 
 bidirectional_35 (Bidirecti  (None, 50, 128)          58880     
 onal)                                                           
                                                                 
 bidirectional_36 (Bidirecti  (None, 64)               41216     
 onal)                                                           
                                                                 
 dropout_17 (Dropout)        (None, 64)                0         
                                                                 
 dense_35 (Dense)            (None, 64)                4160      
                                                                 
 dense_36 (Dense)            (None, 11)                715       
                                                                 
=================================================================
Total params: 116,071
Trainable params: 116,071
Non-trainable params: 0
_________________________________________________________________

Answer 1

我认为你在最后 2 个致密层中有问题。 当对 50 个数字的序列运行时，您将获得“num_tags”数字 output (11)。

但是你想在序列的每一步而不是最后得到 'num_tags' 输出。 为此，您可以使用 TimeDistributed 层：

tf.keras.layers.TimeDistributed(tf.keras.layers.Dense(64, activation=‘relu’)),
tf.keras.layers.TimeDistributed(tf.keras.layers.Dense(num_tags, activation=‘softmax’))

然后你可以使用“sparse_categorical_crossentropy”损失 function 因为你的标签是整数。

请参见示例： https://towardsdatascience.com/named-entity-recognition-ner-using-keras-bidirectional-lstm-28cd3f301f54