如何將 csv 文件從本地加載到 azure 數據湖

Question

我在 prem-Server 上放置了一個文件，該文件每 10 秒獲取一個新行，我需要一種方法只將新添加的行復制到數據湖，而不是整個文件，我使用 azure synapse 並且有一個時間戳行列謝謝

Answer 1

關於您的設置的信息不多，可能會受到許多限制，例如您的文件是否可以從您的網絡外部訪問？ 如果沒有，您需要一些東西來執行出站活動，例如在該機器（或通過網絡訪問該文件的另一台機器）上有本地數據網關。

Azure Synapse 集成運行時啟用了“自托管”的概念，字面意思是運行數據流的數據工廠管道（它可以容納您需要的“附加”功能）。 https://docs.microsoft.com/en-us/azure/data-factory/create-self-hosted-integration-runtime?tabs=data-factory上的詳細信息

您可能希望選擇替代解決方案，例如基於 Azure 存儲和本地代理同步，此時 Azure Synapse 可以直接使用在線副本。