如何從Apache Flink配置儀表板隱藏敏感的配置數據？

Question

我們開始使用Apache Flink進行數據流傳輸。 它正在處理數據，然后更新接收器中的數據庫。 我們將數據庫端點/憑據配置為Flink配置數據（因為我們具有標准的dev / test / prod設置），但不幸的是，密碼/ api密鑰與所有其他配置數據一起以純文本形式顯示在Flink配置儀表板。

有沒有一種配置flink的方法，以便Java代碼仍然可以通過ParameterTool （或類似工具）訪問敏感的密碼信息，但是敏感數據未顯示在Flink儀表板上？

Answer 1

對於群集級別配置（ flink-conf.yaml ），支持此功能。 為了不顯示秘密值，需要做的是在密鑰中包含secret或password （例如，不會顯示cluster.password或secret.plan的值）。

但是，用戶配置尚不支持此功能，因為使用ParameterTool並通過ExecutionConfig.setGlobalJobParameters傳遞全局作業參數時需要使用此功能。 我已提交FLINK-14047以便將此功能添加到Flink。

更新

FLINK-14047已合並到Flink 1.10中。 現在，如果敏感的用戶配置值的鍵名包含password或secret也會將它們過濾掉。