从 C# 中的 Azure 数据湖读取数据

Question

我需要将大量（每天 >100GB）事务数据保存到数据湖 gen2。 数据是许多小的 JSON 事务，所以我计划将事务一起批处理到逻辑文件组中，以避免创建大量小文件。 这将允许对整个数据集进行数据分析。

但是，我还需要从 c# 应用程序中检索单个事务。 那可能吗？ REST API 上似乎没有合适的方法，而且我发现的 USQL 示例似乎没有以任何方式暴露于 c# 应用程序。

也许我试图将数据湖用于错误的目的，但如果我能提供帮助，我不想将这么多的数据保存两次。

谢谢！

Answer 1

此解决方案将允许对所有 JSON 文件进行 T-SQL 查询

1. 创建数据工厂以读取 JSON 文件和 output parquet 格式文件。
2. 使用 Azure Synapse Workspace On-Demand 读取 Parque 文件，其中 OPENROWSET 指向 Azure Parquet 文件的存储位置
3. Synapse Workspace On-Demand 创建 SQL 服务器登录 C# 应用程序
4. 使用 ADO.NET 从 C# 发送 SQL 命令

Answer 2

Synapse Workspace On-Demand 创建 SQL 服务器登录 C# 应用程序