我应该规范化或标准化我的数据集吗？

Question

我尝试使用knn进行分类任务，我的数据集包含分类功能，这是一个热门编码 ， 数字功能，如价格等..还有我的文本列的BoW（CountVectorizer）矢量。

我知道knn受到缩放的影响。 所以我很困惑在这里使用什么？

from sklearn.preprocessing import StandardScaler
from sklearn.preprocessing import Normalizer
from sklearn.preprocessing import normalize

Answer 1

我的建议是去MinMaxScaler

其中一个主要原因是您的功能，如价格不能有负值，正如您所提到的，它可能是稀疏的。

来自文档：

使用此缩放的动机包括对特征的非常小的标准偏差的鲁棒性以及在稀疏数据中保留零条目。

同时，如果您的数值变量有很大的差异，那么请选择RobustScaler或StandardScaler 。

您不必缩放一个热编码功能。

对于BoW来说，保持数据的稀疏性非常重要。 如果您应用StandardScaler，您将失去稀疏性。 你肯定要去MinMaxScaler。 另一个选择是选择TfidfVectorizer ，它默认执行l2规范化。