Stream/Task 是否可以用作倉庫解決方案中的 ETL

Question

我想復制 ETL 解決方案是雪花。 我已經使用流和任務實現了這一點。 我在 stream 表上使用存儲過程，其中存在復制任何其他 ETL 工具（如 Informatica）中的邏輯的合並查詢和自動化流程的任務。 這種方法對於增量更改是否可行？

Answer 1

IMO 是一種由雪花工具（雪管、流、任務、存儲過程）組成的 ETL 架構，是許多/大多數數據管道用例的完美解決方案。 我現在已經看到擁有多個內部 ETL 工具的小型和大型組織都在 Snowflake 中使用這種架構，坦率地說，因為它可以工作，而且這是他們用例所需要的全部。

我確信在某些用例中使用您最喜歡的 ETL 工具是有意義的，但如果您對這種架構感到滿意並且它滿足您的需求，那么沒有理由不使用它。

可以在此鏈接中找到數據管道架構的良好圖表：

https://docs.snowflake.com/en/user-guide/data-pipelines-intro.html

如果您需要有關如何使用流的更多信息，請從以下鏈接開始：

https://docs.snowflake.com/en/user-guide/streams.html

如果您需要有關 MERGE 命令的更多信息，請參閱文檔：

https://docs.snowflake.com/en/sql-reference/sql/merge.html

這里有一篇關於 MERGE 的不錯的博文：

https://dwgeek.com/snowflake-merge-statement-syntax-usage-and-examples.html/

我希望這會有所幫助...豐富