Keras-文本分类，过度拟合以及如何改进我的模型？

Question

我正在基于这两篇文章开发文本分类神经网络-https: //github.com/jiegzhan/multi-class-text-classification-cnn-rnn https://machinelearningmastery.com/sequence-classification-lstm-recurrent -neural的网络-蟒-keras /

对于我正在使用的培训，使用俄语语言的文本数据（语言基本上没有关系，因为文本包含许多特殊的专业术语，可惜使用现有的word2vec并不是一种选择。）

我有这样的训练数据参数-文章的最大长度-969个单词的词汇量-53886标签的数量-12（可悲的是它们的分布非常不均匀，例如我有第一个标签-大约有5000个示例，并且第二个仅包含1500个示例。）

训练数据集的数量-仅9876个条目。 我不是最大的问题 ，因为可悲的是我无法以任何方式增加培训规模（只能等待另一年的时间☻），但即使这样，培训日期也只能翻倍，甚至两倍'不够）

这是我的代码-

x, x_test, y, y_test = train_test_split(x_, y_, test_size=0.1)
x_train, x_dev, y_train, y_dev = train_test_split(x, y, test_size=0.1)

embedding_vecor_length = 100

model = Sequential()
model.add(Embedding(top_words, embedding_vecor_length, input_length=max_review_length))
model.add(Conv1D(filters=32, kernel_size=3, padding='same', activation='relu'))
model.add(MaxPooling1D(pool_size=2))
model.add(keras.layers.Dropout(0.3))
model.add(Conv1D(filters=32, kernel_size=4, padding='same', activation='relu'))
model.add(MaxPooling1D(pool_size=2))
model.add(keras.layers.Dropout(0.3))
model.add(Conv1D(filters=32, kernel_size=5, padding='same', activation='relu'))
model.add(MaxPooling1D(pool_size=2))
model.add(keras.layers.Dropout(0.3))
model.add(Conv1D(filters=32, kernel_size=7, padding='same', activation='relu'))
model.add(MaxPooling1D(pool_size=2))
model.add(keras.layers.Dropout(0.3))
model.add(Conv1D(filters=32, kernel_size=9, padding='same', activation='relu'))
model.add(MaxPooling1D(pool_size=2))
model.add(keras.layers.Dropout(0.3))
model.add(Conv1D(filters=32, kernel_size=12, padding='same', activation='relu'))
model.add(MaxPooling1D(pool_size=2))
model.add(keras.layers.Dropout(0.3))
model.add(Conv1D(filters=32, kernel_size=15, padding='same', activation='relu'))
model.add(MaxPooling1D(pool_size=2))
model.add(keras.layers.Dropout(0.3))
model.add(LSTM(200,dropout=0.3, recurrent_dropout=0.3))
model.add(Dense(labels_count, activation='softmax'))
model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])

print(model.summary())

model.fit(x_train, y_train, epochs=25, batch_size=30)
scores = model.evaluate(x_, y_)

我尝试了不同的参数，并且在训练中获得了很高的准确性（高达98％），但是我在测试装置上的表现确实很差。 我设法达到的最大值约为74％，通常的结果约为64％，而最好的结果是使用较小的embedding_vecor_length和较小的batch_size来实现的。

我知道-我的测试集只是培训测试的10％，总体数据集是最大的问题，但我想找到解决这个问题的方法。

所以我的问题是-1）是否正确构建了用于文本分类目的的模型？ （有效）我​​是否需要使用同时卷积合并结果？ 我只是不了解在使用不同大小的过滤器进行卷积的过程中文本信息如何不会丢失（例如在我的示例中），您能解释一下卷积对文本数据的作用吗？ 主要有关于图像识别的文章。

2）我显然过拟合我的模型有问题。 如何改善性能？ 我已经添加了辍学层。 我接下来该怎么办？

3）可能我需要其他东西吗？ 我的意思是没有卷积的纯RNN？