馬爾可夫鏈中兩個過渡的概率

Question

我已經掌握了馬爾可夫模型的轉換矩陣，但是對於如何進行一系列轉換仍然不清楚。 考慮頁面底部的馬爾可夫鏈，其中S = Sunny， C =多雲， R = Rainy。

我已經在MATLAB中設置了這個轉換矩陣

A = [0.1 0.2 0.7; 0.4 0.3 0.3; 0.2 0.6 0.2]

    0.1000    0.2000    0.7000
    0.4000    0.3000    0.3000
    0.2000    0.6000    0.2000

現在，為了查找過渡的可能性，為方便起見，我做了以下變量

>> S = 1
>> R = 2
>> C = 3

您可以通過從表格中查找來找到單個過渡的可能性，例如，從今天的Rainy到明天的Sunny，將是

>> A(R,S)
ans = 0.4000

題

我很難理解如何進行一系列轉換。 例如，如果今天是晴天，那么從現在起兩天將是多雲的機會是多少？ （所以基本上是兩個過渡）我在想

>> A(S,S)*A(S,C) + A(S,R)*A(R,C) + A(S,C)*A(C,C)
ans = 0.2700

基本上，我發現了所有可能的過渡，最終可能會從Sunny到Cloudy。 盡管很麻煩，但這是正確的方法嗎？

Answer 1

您編碼A(S,S)*A(S,C) + A(S,R)*A(R,C) + A(S,C)*A(C,C) （即所有可能的中間值之和狀態或Chapman-Kolmogorov方程 ）只是矩陣乘法：

A(S,:)*A(:,C)

通常， A2 = A^2給出所有此類雙重躍遷的概率，而An = A^n是n躍遷的概率（例如，請參見此處 ）。 因此， A2(S,C)是今天多雲后兩天（如果今天晴天A2(S,C)的概率。