從時間序列數據進行實時異常檢測

Question

從時間序列數據檢測異常時，我遇到一些問題。

我使用LSTM模型將下一次的值預測為y_pred，下次數據的真實值是y_real，所以我有er = | y_pred-y_t | ，我使用er與threshold = alpha * std進行比較並獲取異常數據點。 但是有時，我們的數據會受到管理員或用戶的影響，例如，周日的游戲人數將高於周一。

那么，我應該使用其他模型對異常數據點進行分類還是使用“是否為其他”進行分類？

Answer 1

我認為您正在使用批處理模型（您沒有使用任何實時處理框架和工具），因此在進行模型或分類時應該沒有任何問題。 創建模型后可能會出現此問題，因此在此之后，您的預測模型無效。 我建議一些方法可以解決此問題：使用實時或近實時處理（例如apache spark，flink，storm等）。 如果發生任何更改，請使用某些條件定期檢查數據是否發生任何更改，然后再次運行模型。 刪除您認為可能會引起問題的實例（可能將更改后的數據稱為異常本身），但是在確保數據不是那么重要之前，請刪除它們。 更改算法，並使用對更改不太敏感的算法。