如何將機器學習項目的開發和生產requirements.txt分開？

Question

我正在尋找更好的 AI/ML 項目代碼結構。 我知道cookiecutter在那里，我真的很喜歡它。

問題在於：我希望將我的 Jupyter Notebook 添加到項目結構中，例如 cookiecutter。 但是當我想部署 model 和pip install requirements.txt時，將安裝所有 package（包括 Jupyter Notebook 要求）。 我不喜歡它。

是否有任何項目結構，其中包括筆記本內部但單獨的 requirements.txt 用於分析和部署？

創建兩個文件夾是否是個好主意：一個用於在帶有 requirements.txt 的筆記本上進行分析，另一個用於帶有自己的 requirements.txt 的 model 部署？

Answer 1

我想到的最佳解決方案是Poetry 。 它會自動創建類似 python package 的文件夾結構。

文件夾結構

Poerty 在項目初始化時創建一個 project.toml 文件。 這可以作為生產的 requirement.txt 文件。您可以使用命令行或編輯文件在此文件中分別添加生產和開發 package。

項目.toml

它還為項目創建了單獨的環境，這有助於最大程度地減少與其他項目的沖突。