CRF ++中使用的边际概率公式是什么？

Question

CRF ++表示可以：

其页面上的“可以为所有候选人输出边际概率”： http : //crfpp.sourceforge.net/

但是，在条件随机字段中用于发现这些概率的公式的表示法是什么？

有人告诉我，这不是简单的p(a|b) ，因为条件随机字段使用了来自相邻观测值的上下文。

这些边际概率到底是什么？

Answer 1

条件概率就是p(y|x) ，其中y是标记序列， x是相关的观察序列。

此概率的表达式只是softmax函数\\exp( a_i ) / \\sum_{i'} \\exp ( a_{i'}) 。

对于CRF， a_i是标签序列a_i = w \\cdot \\phi(x,y) ，其中\\phi(x,y)是从序列及其标签派生的特征向量。

这意味着分母中的总和超过可能的标签\\mathcal{Y}的指数数量：

\sum_{y' \in \mathcal{Y}} \exp ( w \cdot \phi(x,y) )