如何将Fastai表格模型应用于新数据？

Question

我使用fastai.tabular训练了一个模型。 现在，我有一个合适的学习者。 最终，模型将应用于新数据，而不仅仅是适合训练集并根据测试集进行评估。我尝试了各种不同的方法，均导致错误或有些古怪。 有没有办法将经过fastai训练的模型应用于以前不可用的数据？ 还是我必须反复训练模型并输入新的测试数据？ 这似乎不太可能。

df_test = pd.read_parquet('generated_test.parquet').head(100)
test_data = TabularList.from_df(df_test, cat_names=cat_names, cont_names=cont_names)
prediction = learn.predict(test_data)

KeyError：“ atomic_distance”

atomic_distance是训练数据和测试数据中都存在的列名称，并且还包含在cont_names 。

prediction = learn.get_preds(kaggle_test_data)

这可以执行某些操作，但是返回的结果很奇怪：

[tensor([[136.0840],
         [ -2.0286],
         [ -2.0944],
         ...,
         [135.6165],
         [  2.7626],
         [  8.0316]]),
 tensor([ 84.8076, -11.2570, -11.2548,  ...,  81.0491,   0.8874,   4.1235])]

该文件说：

Docstring：返回ds_type数据集上的预测和目标。

这是新的未标记数据。 我不知道为什么返回的对象应该有标签。 他们来自哪里？ 而且大小没有意义。 我期望有100个值的东西。

我找到了一种通过逐行传递数据框的方法：

prediction = [float(learn.predict(df_test.loc[i])[0].data) for i in df_test.index]

也有可用的predict_batch方法，但它似乎确实接受数据帧。 有更好的方法可以做到这一点吗？

Answer 1

这不是答案，但我无法评论。 您设法解决了吗？ 我目前有这个完全相同的问题。 它要么想要因变量（这是不可能的），要么向输入输出一个完全不同的长度，这让我觉得它实际上对测试集没有任何作用。

Answer 2

我用：

data_test = (TabularList.from_df(DF_TEST, path=path, cat_names=cat_names,cont_names=cont_vars, procs=procs)
                           .split_none()
                           .label_from_df(cols=dep_var))
data_test.valid = data_test.train
data_test=data_test.databunch()

learn.data.valid_dl = data_test.valid_dl
pred = learn.get_preds(ds_type=DatasetType.Valid)[0]

其中DF_TEST是测试数据帧， dep_var是因变量，而learn是您的模型。 老实说，它在大多数情况下都有效，而其他时候却产生了奇怪的错误，然后我必须迭代每一行以获得预测。