使用分组数据进行glmnet交叉验证

Question

我正在使用glmnet来存储Web数据。 通常，数据是分类的（因素的高基数），并且具有数百万个样本。 我正在处理“大数据”，并希望提高内存效率 。

因为它是分类的，所以可以通过分组和传递每组的成功和失败次数来更有效地表示数据：例​​如“男性”，“ 30-35”：成功30次，失败50次

我面临的问题是交叉验证...通过分组，我不能仅对数据集进行分区（称为X原始分组数据集）。 我想要的是能够传递原始的分组数据自变量，然后将“结果折叠”：例如，将30个成功案例和50个失败案例分成10个“成功”，“失败”对（复制将如果我对原始未分组的数据进行交叉验证，则会发生这种情况吗？是否仍要以这种方式运行cv.glmnet？复制所有数据k次（具有不同的成功失败值）的替代方法显然会降低内存效率。

假设我有2组2折：

男性'，'30 -35'：30次成功，50次失败

女性'，'30 -35'：成功50次，失败30次

那我想要的是

X = 

    [[male','30-35'] 

    [female','30-35']]

y = 

[[20,30], [10,20],

[[25,30], [25, 0] ]

因此，X变量包含n个组。 则y因变量具有n行，并具有2列（每列包含一个成功失败元组）-每列代表一个折叠。 现在我不是说我要遵循这种特定的数据结构，只是为了分组数据，我不想创建ak N行X_fold矩阵和具有k N行的相应y_fold矩阵 。

即X_fold =

[['male','30-35',...] 

['female','30-35',...]

['male','30-35',...] 

['female','30-35',...]
]

和y_fold =

[[20,30], ,
[25,30], 
[10,20]
[25, 0] ]

关键是X具有许多行和列，并且当独立数据相同时，我不想复制它，仅成功和失败的次数发生了变化（允许折叠，成功为0且某些行为0失败）

我以为如果不修改源代码就无法做到这一点，但是我想仔细检查没有其他人遇到过这个问题。

Answer 1

您提到了交叉验证，但这并不是真正的问题。 您想要的是，当所有变量都是分类的时，将数据集汇总到一个因素列联表中，并使模型适合于响应和非响应的计数。 这是逻辑回归中相当知名的技术。 它既适用于拟合基本模型，也适用于交叉验证它。

为了查看其工作原理，让我们生成一个示例数据集（一百万行）：

set.seed(12345)
df <- data.frame(
    x1 = factor(sample(10, 1e6, TRUE)),
    x2 = factor(sample(20, 1e6, TRUE)),
    x3 = factor(sample(5, 1e6, TRUE)),
    x4 = factor(sample(15, 1e6, TRUE)),
    y = rbinom(1e6, 1, 0.1))

现在将其折叠到一个列联表（15000个单元格/行）：

library(dplyr)
dfsmry <- df %>%
    group_by(x1, x2, x3, x4) %>%
    summarise(y = sum(y), ny = n() - y)

现在拟合一个弹性网模型。 将逻辑回归拟合为汇总数据时，响应为2列矩阵，其中每个单元格的总失败和成功数。

# to make life easier: see https://github.com/hong-revo/glmnetUtils
library(glmnetUtils)

# base model
mod <- glmnet(cbind(ny, y) ~ x1 + x2 + x3 + x4, data = dfsmry, family = "binomial")

# do crossvalidation
cvmod <- cv.glmnet(cbind(ny, y) ~ x1 + x2 + x3 + x4, data = dfsmry, family = "binomial")