应该应用哪种技术来拆分大型文本数据集以进行数据匹配？

Question

我正在研究二进制分类问题，并且正在使用应该用于数据匹配的大型文本数据集。 数据不平衡，但我正在使用一种方法来解决此问题。

我想在这个数据集的小子集中尝试一些带有 sklearn 的分类器。 sklearn中有没有办法将此数据集划分为N个子集，保持类的比例，那么我是否可以将这些子集中的每一个划分为训练/测试并为每个子集独立拟合分类器？

Answer 1

StratifiedKFold是sklearn.preprocessing中的一个模块，可以完成这项工作。 假设您的数据存储在X （特征）和y （目标）中。

该方法将您的数据集拆分为 N 个部分，默认情况下，每个块都拆分为训练和测试子集。 从代码中可以看出，拆分器返回索引，而不是拆分数据。

# Import module
from sklearn.preprocessing import StratifiedKFold

# Set N
N = 5

# Initialize a splitter that will divide data into N groups
kf = StratifiedKFold(n_splits=N)

# Append the indices of each of the N splits to a list
idx_splits = []
for idx_1, idx_2 in kf.split(X, y):
    idx_splits.append((idx_1, idx_2))

# Get the third train split
X[idx_splits[3][0]]
y[idx_splits[3][0]]

# Get the third test split
X[idx_splits[3][1]]
y[idx_splits[3][1]]

Answer 2

我认为 sklearn 的 StratifiedKFold 可能是您正在寻找的。 它将保持原始数据集中的 class 比例。