多元正態分布擬合數據集

Question

我正在閱讀一些關於 RNN 網絡的論文。 在某些時候，我遇到了以下解釋：

在 sN 上訓練的預測 model 用於計算驗證和測試序列中每個點的誤差向量。 對誤差向量進行建模以擬合多元高斯分布 N = N (μ, Σ)。 觀察誤差向量 e(t) 的可能性 p(t) 由 e(t) 處的 N 值給出（類似於使用基於卡爾曼濾波器的動態預測 model [5] 進行新穎性檢測的歸一化創新平方 (NIS) ）。 來自 vN1 的點的誤差向量用於使用最大似然估計來估計參數 μ 和 Σ。

和：

將多元高斯分布擬合到驗證集上的誤差向量。 y (t) 是應用多元高斯分布 N = N (µ, ±) 后誤差向量 e (t) 的概率。 最大似然估計用於 select 參數 µ 和 Σ 用於來自 vN 的點。

vN 或 vN1 是驗證數據集。 sN 是訓練數據集。

它們來自兩篇不同的文章，但描述的是同一件事。 通過將多元高斯分布擬合到數據中，我並沒有真正理解它們的含義。 這是什么意思？

非常感謝，

紀堯姆

Answer 1

讓我們先從一維數據開始。 如果您的數據分布在一維線中，則它們具有均值 (µ) 和方差 (sigma)。 然后對它們進行建模就像使用(µ, sigma)一樣簡單，以根據您的主要分布生成一個新數據點。

# Generating a new_point in a 1D Gaussian distribution
import random

mu, sigma = 1, 1.6
new_point = random.gauss(mu, sigma)
# 2.797757476598497

現在在N維空間中，多元正態分布是一維的推廣。 通常的目標是找到N個平均值µ和N x N協方差，這次由Σ到 model 記下N維空間中的所有數據點。 擁有它們，您可以根據主要分布生成任意數量的隨機數據點。 在 Python/Numpy 中，您可以這樣做：

import numpy as np
new_data_point = np.random.multivariate_normal(mean, covariance, 1)