Azure 數據工廠 - Python 自定義活動

Question

我正在嘗試使用 Python 自定義活動（類似於 .Net）創建一個數據工廠，以從源文件中提取數據並對它們進行一些預處理。 數據預處理后，需要上傳文件到blob。 我有一個准備執行此操作的 Python 代碼，但想探索是否可以通過將 Python 代碼注入其中來使用數據工廠自定義活動來執行此操作。 如果是，請告訴我怎么做，鏈接或任何參考文檔都會有所幫助。

感謝您對此的想法/想法。

Answer 1

依賴項應安裝在批處理池（由自定義活動引用）級別。 有兩種方法可以在批處理池上安裝依賴項：使用池啟動腳本 docs.microsoft.com/en-us/azure/batch/... 或自定義圖像 docs.microsoft.com/en-us/azure/batch/batch-custom -圖像

Answer 2

您可以為此使用 ADF V2 自定義活動，這里是文檔https://docs.microsoft.com/en-us/azure/data-factory/transform-data-using-dotnet-custom-activity