物化視圖調度程序 Postgresql + Redshift

Question

我想要的是每晚更新一個表並緩存它，這樣每次我們運行基於它的查詢時它都不必運行。 所以我想我需要一個物化視圖（不是視圖）。

以下問題的最佳答案是我所需要的。

如何確保物化視圖始終是最新的？

所以，我搜索了 Postgresql 的物化視圖，它看起來很完美。 我只需要一個調度程序。

Pg_cron 看起來很流行，但據我所知它與 Amazon Redshift 不兼容（見https://github.com/citusdata/pg_cron/）（？）

是否有其他一些可用的調度工具或一些解決問題的方法？

非常感謝！ 漢內斯

Answer 1

Redshift 還沒有對物化視圖的內置支持。 您需要讓外部服務為您完成。 我們正在使用氣流，我們在其中編寫了填充物化視圖的模板 DAG。

Answer 2

Redshift 現在支持物化視圖

https://docs.aws.amazon.com/redshift/latest/dg/materialized-view-overview.html

但是，目前無法從 RedShift 內部安排刷新，因此您必須從某個外部計時器調用 REFRESH 命令。 https://docs.aws.amazon.com/redshift/latest/dg/materialized-view-refresh-sql-command.html

從 2020/11 開始，還可以允許 Redshift 使用AUTO REFRESH YES選項控制刷新物化視圖。 https://docs.amazonaws.cn/en_us/redshift/latest/dg/materialized-view-create-sql-command.html

Answer 3

如果您想保持無服務器，您可以使用 Redshift 數據 API 並從 Lambda 調用 MV REFRESH。 https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/redshift-data.html