Spring Cloud Data Flow Git源

Question

我有興趣觀看git存儲庫中的更改，然后對該存儲庫中的文件進行操作。 我可以在github中設置一個webhook來在存儲庫更改時通知數據流，但是我需要下載/克隆文件來處理它們。 是否有一些本地存儲可以保證我可以執行類似操作的部署？

基本上，數據流部署管道中是否有可供處理器使用的本地存儲，以便它們可以將文件保存到磁盤並將其處理到管道的下一階段？

謝謝！

Answer 1

Spring Cloud Data Flow只是Spring Boot應用程序。 SCDF不會直接與Apps，消息代理或基礎平台組件（包括卷安裝）進行交互。

就是說，如果您需要應用程序下載和處理下載的文件，則必須依靠應用程序運行所在的組件。

例如，在本地模式下使用SCDF時，所有應用程序均在計算機/ VM中以Java進程的形式運行，因此，如果處理器可以訪問本地文件系統，則可以將其稱為file:///資源。 您可以使用SFTP到JDBC數據管道作為參考。 在此，SFTP源在本地下載文件，讀取文件的元數據，然后將元數據作為有效負載發送到下游應用程序，后者隨后啟動任務以將文件內容寫入數據庫。

如果您在Cloud Foundry中運行SCDF，則將依賴於托管服務，例如PCF Volume Services ，Minio和類似的東西。 （請參閱文檔 ）

同樣，通過Kubernetes上的SCDF，您可以將K8s Volume Mounts與您選擇的后端一起使用。（請參閱docs ）