CRF ++中使用的邊際概率公式是什么？

Question

CRF ++表示可以：

其頁面上的“可以為所有候選人輸出邊際概率”： http : //crfpp.sourceforge.net/

但是，在條件隨機字段中用於發現這些概率的公式的表示法是什么？

有人告訴我，這不是簡單的p(a|b) ，因為條件隨機字段使用了來自相鄰觀測值的上下文。

這些邊際概率到底是什么？

Answer 1

條件概率就是p(y|x) ，其中y是標記序列， x是相關的觀察序列。

此概率的表達式只是softmax函數\\exp( a_i ) / \\sum_{i'} \\exp ( a_{i'}) 。

對於CRF， a_i是標簽序列a_i = w \\cdot \\phi(x,y) ，其中\\phi(x,y)是從序列及其標簽派生的特征向量。

這意味着分母中的總和超過可能的標簽\\mathcal{Y}的指數數量：

\sum_{y' \in \mathcal{Y}} \exp ( w \cdot \phi(x,y) )