pymc3中的条件Logit model

Question

我正在尝试在 pymc3 中创建一个条件 logit model。 我有生成参数的代码，这些参数可以识别我的玩具问题中的正确类别。 然而，它产生的参数远非最优。 下面我展示了一个生成 MAP 的版本。 使用扩散先验，这应该有点接近 MLE，但很容易看出（0，较大的负数，0）的 beta 向量将给出更好的对数似然性。

令我特别困惑的是，随着案例数量的增加，beta[1] 的估计值变得更接近于 0，并且 model 变得不太确定合适的类别。 我会认为相反的情况应该是正确的。

任何澄清将不胜感激。

NumberOfCases = 5
NumberOfOptions = 3
NumberOfFeatures = 3

# generate data

inputs = ones((NumberOfCases, NumberOfFeatures, NumberOfOptions), float)
choices = np.zeros(NumberOfCases, dtype="int")

for case in range(NumberOfCases):
    c = randint(NumberOfOptions)
    choices[case] = c
    inputs[case, 1, c] = 0.0   # set up dimension 1 to be a better predictor than the other dimensions

# define model and sample

with pm.Model() as model_sf:
    beta = pm.Normal ('beta', mu = 0, sd = 100, shape = (1,NumberOfFeatures))
    mu = tt.tensordot(beta, inputs, [[1], [1]])[0,:,:]
    theta = pm.Deterministic("theta", tt.nnet.softmax(mu))
    y = pm.Categorical ('y', p = theta, observed = choices)
    d = pm.find_MAP()


print(choices)
print(d["beta"])
print(d["theta"])

Output：

[1 2 0 1 0]
[[-0.     -0.1178 -0.    ]]
[[0.32 0.36 0.32]
 [0.32 0.32 0.36]
 [0.36 0.32 0.32]
 [0.32 0.36 0.32]
 [0.36 0.32 0.32]]