[英]Is there a diffrence of fit on GridSearchCV and Pipeline in sklearn?
也许这只是一个错误,或者我真的很愚蠢,我使用一些Keras转换包装了Keras模型(最好是说一个同事包装了一个Keras模型),所以我们可以在sklearn库中使用Keras模型。
现在,当我在管道上使用fit时,它可以正常工作。 它运行并返回一个工作模型实例。 但是,当我出于某种原因使用GridSearchCV时,它无法执行转换(或者看起来如此),并且给了我以下错误:
InvalidArgumentError (see above for traceback): indices[11,2] = 26048 is not in [0, 10001)
[[Node: embedding_4/Gather = Gather[Tindices=DT_INT32, Tparams=DT_FLOAT, validate_indices=true, _device="/job:localhost/replica:0/task:0/cpu:0"](embedding_4/embeddings/read, embedding_4/Cast)]]
代码看起来像这样:
vocab_size = 10001
class TextsToSequences(Tokenizer, BaseEstimator, TransformerMixin):
def __init__(self, **kwargs):
super().__init__(**kwargs)
def fit(self, X, y=None):
print('fitting the text')
print(self.document_count)
self.fit_on_texts(X)
return self
def transform(self, X, y=None):
print('transforming the text')
r = np.array(self.texts_to_sequences(X))
print(r)
print(self.document_count)
return r
class Padder(BaseEstimator, TransformerMixin):
def __init__(self, maxlen=500):
self.maxlen = maxlen
self.max_index = None
def fit(self, X, y=None):
#self.max_index = pad_sequences(X, maxlen=self.maxlen).max()
return self
def transform(self, X, y=None):
print('pad the text')
X = pad_sequences(X, maxlen=self.maxlen, padding='post')
#X[X > self.max_index] = 0
print(X)
return X
maxlen = 15
def makeLstmModel():
model = Sequential()
model.add(Embedding(10001, 100, input_length=15))
model.add(LSTM(35, dropout=0.2, recurrent_dropout=0.2))
model.add(Dense(16, activation='sigmoid'))
model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])
model.summary()
return model
lstmmodel = KerasClassifier(build_fn=makeLstmModel, epochs=5, batch_size=1000, verbose=42)
pipeline = [
('seq', TextsToSequences(num_words=vocab_size)),
('pad', Padder(maxlen)),
('clf', lstmmodel)
]
textClassifier = Pipeline(pipeline)
#Setup parameters
parameters = {} #Some params to use in gridsearch
skf = StratifiedKFold(n_splits=numberOfFolds, shuffle=True, random_state=1)
gscv = GridSearchCV(textClassifier, parameters, cv=skf, iid=False, n_jobs=1, verbose=50)
gscv.fit(x_train, y_train)
现在,上面的代码失败InvalidArgumentError,但是当我运行fit
与Pipeline
它的工作原理:
GridSearchCV
fit()
和Pipeline
之间有区别吗? 我真的很愚蠢吗,或者这只是一个错误?
顺便说一句,我目前被迫使用Sklearn 0.19.1。
经过数小时的思考和调试,我得出以下结论:
Pipeline.fit()
能够自动填充**kwargs
参数。
GridSearchCV.fit()
无法自动填充**kwargs
参数。
我在sklearn 0.19.1上测试过
我的问题是使用num_words
参数创建了用num_words
Tokenizer
创建的单词袋,该参数将单词袋限制为最大单词数。 我的同事在这方面做得不好,因此单词的数量与LSTM模型中输入维的数量相匹配。 由于从未设置num_words
,因此bag始终大于输入维度。
num_words
作为**kwargs
参数传递给Tokenizer
。
class TextsToSequences(Tokenizer, BaseEstimator, TransformerMixin):
def __init__(self, **kwargs):
super().__init__(**kwargs)
由于某种原因, GridSearchCV.fit()
无法自动填充此内容。 解决方案是使用固定参数。
class TextsToSequences(Tokenizer, BaseEstimator, TransformerMixin):
def __init__(self, num_words=8000, **kwargs):
super().__init__(num_words, **kwargs)
更改之后, GridSearchCV.fit()
起作用。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.