將所有 CSV 從本地驅動器上的路徑加載到 AzureSQL DB w/Auto Create Tables

Question

我經常需要驗證客戶提交的 CSV，以確保文件中的標頭和值符合我們的規范。 通常我通過使用導入/導出向導來執行此操作，並讓向導根據 CSV 創建表（文件名成為表名，標題成為列名）。 然后我們運行一組存儲過程來檢查所述表的 information_schema 並將其與我們的規范相匹配等。

大多數時候，這涉及為客戶端一次加載多個文件，這在使用導入/導出向導時變得非常耗時和費力。 我嘗試使用 xp_cmshell sql 腳本一次從路徑加載所有內容以獲得相同的結果，但 AzureSQL DB 不支持 xp_cmshell。

https://learn.microsoft.com/en-us/azure/azure-sql/load-from-csv-with-bcp

上面說可以使用 bcp 加載，但它也需要表在導入之前存在...我需要表結構來模仿 CSV。這里有什么想法嗎？

謝謝

Answer 1

If you want to load the data into your target SQL db, then you can use Azure Data Factory[ ADF ] to upload your CSV files to Azure Blob Storage, and then use Copy Data Activity to load that data in CSV files into Azure SQL db表 -無需預先創建這些表。

ADF 支持“自動創建”匯表。 看到這個，還有這個