使用 Azure 服务解析文件 DAT 文件、CSV 文件和图像文件

Question

我有 5 种类型的 EDI 文件，即 - *.DAT、*.XML、*.TXT、*.CSV 和图像文件，其中包含数据不是标准格式的数据。 我需要解析它们并从中提取所需的数据并将它们保存在 SQL 数据库中。 目前，我花时间为每种类型的 EDI 文件编写解析器 class 库，并且不可扩展。

我需要知道是否有任何 azure 服务可以为我完成解析工作并且是可扩展的。

我可以期待这方面的解决方案吗？

Answer 1

考虑使用 Azure 数据工厂。 它支持一系列文件类型。

Answer 2

我需要解析它们并从中提取所需的数据并将它们保存在 SQL 数据库中。

Yes, You can use Azure Functions to process a Files like CSV an import data into Azure SQL Or Azure Data Factory is also helpful to read or copy many file formats and store them in SQL Server Database in specified formats, there is an practical example provided由 Microsoft 提供，请参阅此处。

使用 Azure 函数，以下步骤是：

1. 创建 Blob 触发器类型的 Azure 函数（堆栈：.Net 3.1）并在local.settings.json中定义本地存储帐户连接字符串，如下所示：

2. 在 Function.cs 中，会有一些样板代码给出显示上传的 blob 名称及其大小的逻辑。

在 Run function 中，您可以定义上传的 blob 文件的解析逻辑。

3. 创建 Azure SQL 数据库，使用位置、定价层和所需设置配置服务器。 之后，Select 在数据库概览页面上Set Server Firewall 。 单击Add Client IP添加您的 IP 地址并Save 。 测试数据库是否能够连接。

4. 从 Visual Studio 将项目部署到 Azure Functions App。

5. 在 Azure 门户中打开您的 Azure SQL 数据库并导航到Connection Strings 。 复制ADO.NET的连接字符串。

6. 将该Connection String粘贴到门户中的 Azure Function 应用程序设置中。

7. 从门户测试 function 应用程序以及将文件从存储上传到 SQL 数据库的其余步骤可在此GitHub 文档中找到

另外对于CSV等文件通过Azure函数解析为JSON格式的功能，请参考这里。