從 C# 中的 Azure 數據湖讀取數據

Question

我需要將大量（每天 >100GB）事務數據保存到數據湖 gen2。 數據是許多小的 JSON 事務，所以我計划將事務一起批處理到邏輯文件組中，以避免創建大量小文件。 這將允許對整個數據集進行數據分析。

但是，我還需要從 c# 應用程序中檢索單個事務。 那可能嗎？ REST API 上似乎沒有合適的方法，而且我發現的 USQL 示例似乎沒有以任何方式暴露於 c# 應用程序。

也許我試圖將數據湖用於錯誤的目的，但如果我能提供幫助，我不想將這么多的數據保存兩次。

謝謝！

Answer 1

此解決方案將允許對所有 JSON 文件進行 T-SQL 查詢

1. 創建數據工廠以讀取 JSON 文件和 output parquet 格式文件。
2. 使用 Azure Synapse Workspace On-Demand 讀取 Parque 文件，其中 OPENROWSET 指向 Azure Parquet 文件的存儲位置
3. Synapse Workspace On-Demand 創建 SQL 服務器登錄 C# 應用程序
4. 使用 ADO.NET 從 C# 發送 SQL 命令

Answer 2

Synapse Workspace On-Demand 創建 SQL 服務器登錄 C# 應用程序