在馬爾可夫過程中尋找條件矩

Question

這個問題結合了數學和編程。 我將首先描述一般問題，然后給出一個（希望）更容易理解的例子。

一般問題：考慮具有轉移矩陣Π的N狀態的馬爾可夫鏈過程。 每個狀態都與值x_n（{1，...，n}中的n）相關聯。 我們的目標是找到沿T周期路徑的前兩個時刻（均值和變量）的無條件平均值，條件是（i）路徑從狀態子集開始，N_0，（ii）它以狀態子集結束， N_T，以及（iii）在1到T-1之間的任何時段中，它沒有經過狀態子集N_not。 通過說我們對這兩個時刻的無條件平均值感興趣，我基本上意味着這兩個時刻在平穩分布中的平均值。 更具體地說，讓我在一個簡單的案例中說明這項工作的目標。

簡單示例：考慮具有轉移矩陣Π的3狀態馬爾可夫鏈過程，並且讓這三個狀態由A，B和C表示。這些狀態中的每一個都與某個值（x_A，x_B和x_C）相關聯，分別。 我們對滿足以下條件的路徑發生的事情感興趣。 路徑從A點開始，經過3個周期在B點或C點之后，1到3期間從未再次通過A點。用（＃）表示這個條件。 因此，例如，我們感興趣的路徑將是{A，B，B，C}，其具有關聯值{x_A，x_B，x_B，x_C}。 我們對這些路徑的平均值和標准偏差感興趣。 特別是，我們希望在滿足（＃）的路徑中找到前兩個時刻的無條件平均值。

現在讓我提出一個基於模擬過程的解決方案。 由於T和N都很大，這個解決方案對我來說太慢了。

模擬解決方案：從一些初始點開始模擬該過程很長一段時間，並放棄第一個τ周期。 從模擬中提取滿足條件（＃）的所有路徑，並計算沿每條路徑的平均值和標准值。 最后，簡單地了解這些路徑的平均值。

我希望有更好，更有效的方法來實現這個目標。 由於我希望解決方案准確且T和N的大小，因此模擬需要很長時間。

我很想聽聽你的想法，如果你知道有效的方法來實現這個目標。 如果有什么不清楚的地方請告訴我，我會盡力澄清一下。

謝謝！！！

Answer 1

我想如果N_0由一個狀態組成，我知道如何做到這一點，讓我們稱之為狀態A

在A的長期概率是pi(A)並且可以通過求解pi = pi*P來獲得，其中P是轉移矩陣。

您需要計算的另一件事是這些瞬態路徑的概率。 您可能需要引入修改的P ，其中集合N_not中的所有狀態i都是吸收的（即P[i,i]=1並且對於j ， P[i,j]=0不是i ）。 然后從向量p(0) ，其中元素中的1對應於狀態A ，否則為0，您可以繼續計算p(n) = p(n-1)*P以獲得瞬態路徑的概率。

將pi(A)的結果乘以得到無條件概率。

當N_0是一個集合時，你也可以這樣做，但我不知道在這種情況下你應該如何選擇p(0) 。