Python的構建過程工具

Question

我是一名Java開發人員，為Apache Spark編寫（獨立）應用程序。 為了創建工件，我將Gradle與ShadowJar插件一起使用。

一些隊友想使用Python。 當前，他們使用JetBrains PyCharm編寫這些Python腳本並在Spark集群環境中遠程執行它們。 但是，此過程不能很好地擴展（如果涉及多個文件，該怎么辦？），我正在Python生態系統中尋找解決方案。 問題是我和我的團隊成員都不是Python專家（實際上其他團隊成員都不是開發人員，而是必須編寫代碼。管理決策...），因此我們不知道具體是什么。 Python開發的最佳實踐。

我嘗試了PyGradle，但感覺無法平穩集成，尤其是使用Apache Spark時。 我絆倒了像Pip，Pex，Setuptools，VirtualEnv之類的名稱。 這些工具是什么？ 它們如何相互干擾？

為了防止XY問題：我想要一個可以使用一個命令（例如gradle build）構建，（單元測試）和打包的Codebase。 生成的工件應能夠在Spark集群上部署和執行。

Answer 1

我也是這個世界的新手，並希望在AI啟動中設置流程。 我認為http://pybuilder.github.io/至少是自動化的良好起點，因為我正在嘗試在我們之間進行設置。