如何将 csv 文件从本地加载到 azure 数据湖

Question

我在 prem-Server 上放置了一个文件，该文件每 10 秒获取一个新行，我需要一种方法只将新添加的行复制到数据湖，而不是整个文件，我使用 azure synapse 并且有一个时间戳行列谢谢

Answer 1

关于您的设置的信息不多，可能会受到许多限制，例如您的文件是否可以从您的网络外部访问？ 如果没有，您需要一些东西来执行出站活动，例如在该机器（或通过网络访问该文件的另一台机器）上有本地数据网关。

Azure Synapse 集成运行时启用了“自托管”的概念，字面意思是运行数据流的数据工厂管道（它可以容纳您需要的“附加”功能）。 https://docs.microsoft.com/en-us/azure/data-factory/create-self-hosted-integration-runtime?tabs=data-factory上的详细信息

您可能希望选择替代解决方案，例如基于 Azure 存储和本地代理同步，此时 Azure Synapse 可以直接使用在线副本。