将参数从 adf 传递到笔记本

Question

我正在通过 api 调用获取数据，并希望对widgets进行参数化。 在 azure 中，我进行了以下设置：

我有attribute_code的列表，使用lookup活动读取它们并将这些参数传递到数据块笔记本代码中。 数据块中的代码：

data, response = get_data_url(url=f"https://p.cloud.com/api/rest/v1/attributes/{attribute_code}/options",access_token=access_token)
#Removing the folder in Data Lake
dbutils.fs.rm(f'/mnt/bronze/attribute_code/{day}',True)
#Creating the folder in the Data Lake
dbutils.fs.mkdirs(f'/mnt/bronze/attribute_code/{day}')

count = 0
#Putting the response inside of the Data Lake folder
dbutils.fs.put(f'/mnt/bronze/attribute_code/{day}/data_{count}.json', response.text)

我的问题是，由于它在ForEach循环中，每次传递新参数时，它都会删除包含先前加载数据的整个文件夹。 现在有人可以说要删除我放置的行并创建 spacific daily 文件夹，但管道应该每天运行多次，我需要在那天删除以前加载的数据并加载新数据。

我的目标是迭代整个attribute_code列表并将它们全部加载到一个名为“data_{count}.json”的文件夹中

Answer 1

• 除了在笔记本中使用dbutils.fs.rm ，您还可以对每个活动使用 delete activity before 以获得所需的结果。

• 使用dbutils.fs.rm ，每次在内部触发笔记本时都会删除该文件夹，因为每个循环也会删除以前创建的文件。

• 因此，仅在每个循环之前使用删除活动来删除文件夹（仅在存在时删除），您可以根据需要加载数据。

• 对于路径，我使用了以下动态内容：

attribute/@{formatDateTime(utcNow(),'yyyy-MM-dd')}

• 并在我的数据块笔记本中使用以下代码：

#I used similar code
data, response = get_data_url(url=f"https://p.cloud.com/api/rest/v1/attributes/{attribute_code}/options",access_token=access_token)


#Creating the folder in the Data Lake
dbutils.fs.mkdirs(f'/mnt/bronze/attribute_code/{day}')

count = 0
#Putting the response inside of the Data Lake folder
dbutils.fs.put(f'/mnt/bronze/attribute_code/{day}/data_{count}.json', response.text)

• 假设我的查找活动中有以下 output：

• 当我运行管道时，它会成功运行。 只会加载最新的查找数据。