實時計算

Question

我有一個用 python 和 mysql 編寫的算法，它在 csv 文件和一些屬性中輸入，然后運行 20-25 分鍾以生成 output。

我想讓它實時，這樣如果上傳輸入 csv 或更改屬性，則無需運行算法即可更改 output

注意 運行算法的數據可能非常大。 在制作實時計算算法方面需要幫助

我正在嘗試將 mysql 更改為 nosql DB 但它仍然需要時間來運行並且不是實時的

Answer 1

您應該嘗試使用一種流媒體服務進行事件驅動更新。 而不是CSV，而是像Kafka或Kinesis一樣將數據寫入stream。 編寫您的消費者，在不運行完整算法的情況下讀取傳入的發明並更新數據。 您也可以使用 Apache Flink 對 Kafka 進行聚合。