每30秒查詢PostgreSQL的有效方法？

Question

我需要從AWS中的某些PostgreSQL表中獲取數據（等待處理多少條記錄）以進行報告。 將qry的結果發布到日志中，並由FluentD惡魔拾取並推送到elasticsearch / Kibana。 做到這一點的直接方法是編寫一個小型的spring boot應用程序，該應用程序每30秒左右對db進行一次ping操作。 我覺得這是低效且昂貴的。 有更好的方法嗎？

感謝您的幫助。

Answer 1

可以使用更改數據捕獲（CDC）生成更改事件流，而不是定期查詢數據庫。 使用流處理，將結果寫入Elasticsearch索引。 如果您不關心供應商鎖定，則可以使用AWS DMS，Kinesis和Lambda來執行。 否則，您可以使用合適的Kafka連接器讀取更改並將事件發布到Kafka上。 然后使用Kafka流將數據推送到Elasticsearch。