如何在我的 Azure ML 的实验脚本上导入自定义函数？

Question

我可以成功提交实验以处理 Azure ML 上的远程计算目标。

在我的笔记本中，为了提交实验，我有：

# estimator
estimator = Estimator(
    source_directory='scripts',
    entry_script='exp01.py',
    compute_target='pc2',
    conda_packages=['scikit-learn'],
    inputs=[data.as_named_input('my_dataset')],
    )

# Submit
exp = Experiment(workspace=ws, name='my_exp')

# Run the experiment based on the estimator
run = exp.submit(config=estimator)
RunDetails(run).show()
run.wait_for_completion(show_output=True)

但是，为了保持干净，我想在辅助脚本上定义我的通用函数，所以第一个将导入它。

在我的脚本实验文件 exp01.py 中，我想要：

import custom_functions as custom

# azure experiment start
run = Run.get_context()

# the data from azure datasets/datastorage
df = run.input_datasets['my_dataset'].to_pandas_dataframe()

# prepare data
df_transformed = custom.prepare_data(df)

# split data
X_train, X_test, y_train, y_test = custom.split_data(df_transformed)

# run my models.....
model_name = 'RF'
model = custom.model_x(model_name, a_lot_of_args)

# log the results
run.log(model_name, results)

# azure finish
run.complete()

问题是：Azure 不会让我导入 custom_functions.py。

你怎么样？

Answer 1

TL;DR在您的情况下您放在source_directory中的任何文件， scripts将可供 Estimator 使用。

为此，只需在包含您的prepare_data() 、 split_data() 、 model_x()函数的scripts文件夹中创建一个名为custom_functions.py的文件。

我还建议您仅在source_directory文件夹中包含您需要的内容，并为每个 Estimator 创建不同的文件夹，因为：

• 当您使用远程 compute_target 时，将上传整个文件夹的内容，并且
• 当您开始使用 ML Pipeilnes（非常棒）时， PythonScriptStep的allow_reuse参数将在确定该步骤是否需要再次运行时查看source_directory中的任何文件是否已更改。

最后，当您想在PythonScriptStep或 Estimator 之间共享通用实用程序函数而无需复制和粘贴代码时，您可能需要考虑创建自定义 python package。