Python中的Keras序列分類

Question

我正在嘗試在python 3中使用keras進行序列分類。我正在嘗試對單詞序列進行分類。 在我的數據中，我使用了word_2_vec將這些單詞轉換為形狀為300的數組。我的訓練數據如下

X->單詞向量列表的列表（所有單詞向量列表的長度均為50個單詞向量）
Y->列出經過熱編碼的正確類的列表（例如：[[0，0，1]，[1，0，0]，[1，0，0] ...]）

當我嘗試初始化模型並使其適合數據時，我不斷收到錯誤消息。 我是初次使用keras進行深度學習的人。 我的模型的層應該是什么。 我得到的另一個特殊錯誤是我的input_shape不正確。 在這種情況下，我的input_shape是什么？

碼：

    training_data = []
    with open(INTENT_RECOGNITION_TRAINING, 'r') as json_file:
        json_obj = json.load(json_file)
        for data in json_obj['data']:
            for query in data['queries']:
                words = [START_TOKEN] + word_tokenize(query[0]) + [END_TOKEN]
                if len(words) > JText.MAX_QUERY_LENGTH:
                    JText.MAX_QUERY_LENGTH = len(words)
                training_data.append((words, data['intent']))
    training_data = [(JText._pad_sequence(ws, JText.MAX_QUERY_LENGTH), intent) for (ws, intent) in training_data]
    for i in range(len(training_data)):
        if training_data[i][1] not in JText.INTENTS:
            JText.INTENTS.append(training_data[i][1])
        query_vector = []
        for w in training_data[i][0]:
            if w in JText.WORD2VEC.vocab:
                query_vector.append(JText.WORD2VEC[w])
            else:
                query_vector.append(np.zeros(300))
        training_data[i] = (query_vector, training_data[i][1])
    random.shuffle(training_data)
    X_train = [tup[0] for tup in training_data]
    y_train = [tup[1] for tup in training_data]
    y_labelencoder = LabelEncoder()
    y_train = y_labelencoder.fit_transform(y_train).reshape(-1, 1)
    y_onehotencoder = OneHotEncoder(categorical_features=[0])
    y_train = y_onehotencoder.fit_transform(y_train).toarray()
    recognizer = Sequential([
        LSTM(100, input_shape=(JText.MAX_QUERY_LENGTH, 300)),
        Dense(len(JText.INTENTS), activation='sigmoid')
    ])
    recognizer.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])
    recognizer.fit(X_train, y_train, nb_epoch=100, batch_size=10)

收到此錯誤：

Exception: Error when checking model input: expected lstm_input_1 to have 3 dimensions, but got array with shape (21, 1)

Answer 1

沒有keras模型代碼或錯誤消息，很難提供確切的答案。 我將嘗試根據可用信息說明一般解決方案，以提供幫助。

1. 我假設您正在Keras中使用LSTM進行序列分類。 在這種情況下，您的輸入應為3D尺寸為ndarray的數組（batch_size，Time_steps，length_each_word_vector）。 因此，在您的情況下，假設每個序列中有50個單詞，則輸入是形狀為nd的數組（no_of_sequences_to_train，50,300）。
2. 關於應該使用的層，因為提供的y參數似乎只有3個分類類。 如果是這種情況，您可以考慮添加一個output_dim = 3的密集層（即第一個參數3）

該博客是序列分類的一個很好的例子，應該為初學者提供一些直觀的想法。

希望這可以幫助

更新我正在嘗試做類似的事情，並且遇到了相同的問題。 從您的代碼看來，您似乎正在傳遞形狀為ndarray的列表（seq_len，300）。 Keras期望3D numpy數組而不是numpy數組的列表。

這就是我重新配置訓練數據的方式

X_train = np.zeros((len(training_data,MAX_QUERY_LENGTH,300))
for i in range(len(training_data)):
     tup = training_data[i]
     X_train[i,:,:]=tup[0]

上面的代碼沒有經過優化，但是它最好地傳達了所需的更改，以使LSTM層接受您的輸入

希望這可以幫助