約束 H2O GLM 中的截距項

Question

我熟悉如何在h2o.glm() 約束 Betas （回歸參數h2o.glm() ，但很難理解如何擴展它以約束截距。

（我知道intercept=FALSE將其約束為零，但我對非零約束感興趣。）

概念示例數據集：

n <- 100

set.seed(1)

getPoints <- function(n){
    rbind(
        data.frame(col= factor('red', levels=c('red','blue')), 
                   x1 = rnorm(n=n,mean=11,sd = 2), 
                   x2 = rnorm(n=n,mean=5,sd=1)),
        data.frame(col='blue', 
                   x1 = rnorm(n=n,mean=13,sd = 2), 
                   x2 = rnorm(n=n,mean=7,sd=1))
        )
}

df1     <- getPoints(n)

示例約束：

param_names <- c('Intercept', 'x1', 'x2')
param_vals  <- c(       27.5, -1.1, -2.7)

beta_const_df <- data.frame(names = c('Intercept','x1','x2'),
                            lower_bounds = param_vals-0.1,
                            upper_bounds = param_vals+0.1,
                            beta_start   = param_vals)

如果我省略“攔截”約束，約束將起作用：

glm1 <- h2o.glm(x=c('x1','x2'),
                y='col',
                family='binomial',
                lambda=0,
                alpha=0,
                training_frame = 'df1',
                beta_constraints=beta_const_df[-1,] 
                )
glm1@model$coefficients
# Intercept        x1        x2 
#  27.68408  -1.00000  -2.60000 

但是如果我包含一個“攔截”約束，其他約束也會失敗。

glm2 <- h2o.glm(x=c('x1','x2'),
                y='col',
                family='binomial',
                lambda=0,
                alpha=0,
                training_frame = 'df1',
                beta_constraints=beta_const_df)   
glm2@model$coefficients
#  Intercept          x1          x2 
# 0.67783085 -0.01185921 -0.03083395 

限制攔截的正確語法是什么？

Answer 1

嘗試將standardize參數設置為等於 False（如下面的代碼所示），您可以在此處閱讀有關 beta_constraints 參數的更多信息：

glm1 <- h2o.glm(x=c('x1','x2'),
                y='col',
                family='binomial',
                lambda=0,
                alpha=0,
                training_frame = as.h2o(df1),
                beta_constraints=beta_const_df,
                standardize = F
)
glm1@model$coefficients
> glm1@model$coefficients
#Intercept        x1        x2 
#27.6      -1.0      -2.6 

Answer 2

如果所有約束都嚴格相等，則解決方法

我可以對偏離beta_given造成嚴重的 L2 懲罰rho ，似乎這里支持Intercept ：

beta_const_df <- data.frame(names = c('Intercept','x1','x2'),
                            #lower_bounds = param_vals-0.1, #don't bound
                            #upper_bounds = param_vals+0.1,
                            #beta_start   = param_vals, # use beta_given
                            beta_given   = param_vals, # new
                            rho          = 1e9 )       # new

然后這有效：

glm2 <- h2o.glm(x=c('x1','x2'),
                y='col',
                family='binomial',
                lambda=0,
                alpha=0,
                training_frame = 'df1',
                beta_constraints=beta_const_df)

glm2@model$coefficients
# Intercept        x1        x2 
#      27.5      -1.1      -2.7 
all.equal(glm2@model$coefficients, param_vals, check.names=FALSE) # TRUE

這僅在您具有所有相等約束（不明確的上限和下限）時才有效。

無論哪種方式，仍然想知道是否有更簡單的方法來做到這一點。