如何将整个 python 应用程序添加到 azure databricks 中并运行它？

Question

我们有一个用 Python 编写的功能模型。 我想一次复制所有代码并从 azure databricks 运行它 - 我看到有一种方法可以从 azure 数据工厂运行 python 代码，但我看到它只用于一个 python 文件，对吗？

我知道，我可以上传一个轮子或一个鸡蛋，但那样的话，我可能必须将它导入到 notebook 中。 我能通过 CLI 或 azure 数据工厂访问这个轮子吗？ 我会失去设置参数的选项吗？

我们使用 gitlab，所以这个选项暂时不在表中。

多谢

编辑我想总结一下我发现的东西，下面的一些可能真的是错误的。

• 我可以上传一个轮子并将 python 应用程序用作库 -> 我可以将 CLI 应用程序的 main 重写到笔记本，然后导入库。
• 我可以将所有代码重写到笔记本中 -> 这可能是最好的方法，但是对于体积不小的现有应用程序来说是痛苦的
• 我可以创建文件夹并将python代码上传到FS，模拟Python项目并在notebook中调用...（还没试过）
• 可以用github导入代码（我还没试过，因为nda不能把代码从gitlab移动到github）
• 我可以从连接到数据块的 IDE 运行代码
• 我可以在 Data azure 管道中运行 start python 脚本，但我不确定轮子。
• 我可能可以使用另一个 azure 模块（哪个？将代码放在哪里？）然后使用 databricks 从 CLI 运行 python 代码 -> 但是在 python spark 的情况下它没有意义（我还没有尝试过，因为这个）
• 我可能可以通过 %sh 脚本从笔记本中运行保存在天蓝色空间中某处的python（再次，它应该在哪里？）并传递参数。 （我还没试过

Answer 1

您可以复制 Python 代码并将其粘贴到 Databricks 笔记本中的单元格中，然后以这种方式运行。

您还可以使用 Databricks CLI 将导入的文件上传到 Databricks 工作区。
请参阅https://docs.databricks.com/dev-tools/cli/workspace-cli.html

无论如何，Databricks python notebooks 只是带有一些特殊注释的 .py 文件。