如何在 Azure 数据工厂中集成 Python 代码

Question

我的 Azure 数据工厂中有一个文本分隔文件。 我必须将其转换为 json 文件。 我还有一个 python 代码，可将我的文本分隔文件转换为 json 文件。 现在我如何将这个 python 代码集成到 azure 数据工厂中。 如何从 ADF 运行此代码？

Answer 1

You can use the Azure Data Factory Data Flow to do a lot of transforms like csv to JSON without Python (see this answer: Convert csv files,text files,pdf files into json using Azure Data Factory ).

如果您需要 Python 提供的控件，您可以使用 Azure 批处理来运行您的 python 文件。 在您的 python 中，您可以使用 blob_client.download_blob() 从 blob 中获取 csv，以将其下载到批处理 VM 上的本地文件中。 然后您可以正常加载文件（pd.read_csv（））并进行转换。 在本地编写 json 文件后，您可以上传回 blob，然后执行您想要的任何其他 ADF 操作。 我使用这组指令开始运行 Azure Batch python: https://docs.microsoft.com/en-us/azure/batch/quick-run-python