如何让我的管道执行插补阶段？

Question

我正在尝试运行一个基本模型，但似乎我的管道的插补阶段失败了，我真的不明白为什么。

这是最小的可复制代码

如果您愿意，可以找到x和y的数据。 最初它们位于一个公共文件中，我可以轻松地将您链接到该文件，但我对它们进行了一些转换，因此我将使用编辑后的输出来减少您必须阅读的代码。 但是，如果需要，我可以轻松链接到原始代码和数据集。

import pandas as pd
import numpy as np
from sklearn.ensemble import RandomForestClassifier,AdaBoostRegressor,AdaBoostClassifier,RandomForestRegressor
from category_encoders import CatBoostEncoder,CountEncoder,TargetEncoder,SumEncoder
from sklearn.preprocessing import OneHotEncoder, StandardScaler
from sklearn.compose import make_column_transformer
from sklearn.pipeline import make_pipeline
from sklearn.impute import SimpleImputer
import datetime as dt

x = pd.read_csv("/home/user/Python Practice/Working/Playstore/x.csv",index_col=("Unnamed: 0"))
y = pd.read_csv("/home/user/Python Practice/Working/Playstore/y.csv",index_col=("Unnamed: 0"))

# Set up Imputers
strat = ["mean","median","most_frequent","constant"]
num_imp = SimpleImputer(strategy=strat[0])
obj_imp = SimpleImputer(strategy=strat[2])

# Set up the scaler
sc = StandardScaler()

# Set up Encoders
cb = CatBoostEncoder()
oh = OneHotEncoder()

# Set up columns
obj = list(x.select_dtypes(include="object"))
num = list(x.select_dtypes(exclude="object"))
cb_col = [i for i in obj if len(x[i].unique())>30]
oh_col = [i for i in obj if len(x[i].unique())<10]

# Col Transformation
col = make_column_transformer((cb,cb_col),
                              (obj_imp,cb_col),
                              (oh,oh_col),
                              (obj_imp,oh_col),
                              (num_imp,num),
                              (sc,num))

model = AdaBoostRegressor(random_state=(0))

#Second Pipeline
run = make_pipeline((col),(model))
run.fit(x,y)
print("The score is",run.score(x,y))

模型在.fit阶段崩溃并显示错误消息： ValueError: Input contains NaN 。 为什么在我估算后它会这样做？ 我该如何解决？

Answer 1

我正在使用 Pandas v1.1.3 和 sklearn v0.23.2。

我想主要问题是由CatBoostEncoder引起的。 它需要列 y 作为 input ，因此它可能无法与make_column_transformer() ，至少不能根据手册描述的内容。 它的输出格式也不同于其他转换器，如固定代码所示。

使固定

首先，你的索引搞砸了，加载后必须修复。

x.index[10470:10475]
Out[34]: Int64Index([10470, 10471, 10473, 10474, 10475], dtype='int64')

# fix
x.reset_index(drop=True, inplace=True)
y.reset_index(drop=True, inplace=True)

其次，使 OneHotEncoder 输出一个密集数组。

oh = OneHotEncoder(sparse=False)

三是打通管道。

# 1. Impute
x[num] = num_imp.fit_transform(x[num])
x[obj] = obj_imp.fit_transform(x[obj])
assert x.isnull().sum().sum() == 0  # make sure no missing value exists

# 2. Transform
x = pd.concat([pd.DataFrame(sc.fit_transform(x[num])),
               cb.fit_transform(x[cb_col], y),
               pd.DataFrame(oh.fit_transform(x[oh_col]))
               ], axis=1)

最后，直接训练和评估模型。 形状转换抑制警告。

model = AdaBoostRegressor(random_state=0)
model.fit(x.values, y.values.reshape(-1))
print("The score is", model.score(x, y.values.reshape(-1)))

结果：

The score is 0.6329093797171869

附加信息

我试图忽略第三方CatBoostEncoder ，只在所有对象列上使用OneHotEncoder 。

col = make_column_transformer(
    (num_imp, num),
    (obj_imp, obj),
    (sc, num),
    (oh, obj),
)

但是，尝试以许多我不明白的奇怪方式失败了。

• oh因ValueError: Input contains NaN失败ValueError: Input contains NaN 。
• sc因ValueError: Input contains NaN, infinity or a value too large for dtype('float64').失败ValueError: Input contains NaN, infinity or a value too large for dtype('float64'). 当只有x[num]被传递到管道时会发生这种情况，而且obj_imp和oh被关闭。

这是我决定放弃管道的主要原因，因为管道中转换器的行为与我在固定代码中观察到的有很大不同。