如何在 Google Dataproc 集群中安裝 python 包

Question

創建並運行集群后，是否可以在 Google Dataproc 集群中安裝 python 包？

我嘗試在主命令行中使用“ pip install xxxxxxx ”，但它似乎不起作用。

Google 的 Dataproc 文檔沒有提到這種情況。

Answer 1

這在集群創建后通常是不可能的。 我建議使用初始化操作來執行此操作。

正如您所注意到的，默認情況下pip也不可用。 因此，您需要先運行easy_install pip然后運行pip install命令。

最后，如果您打算在任何自動化中使用此集群，和/或您想要密封性，我建議創建一個您存儲在 GCS 中並在 init 操作中下載的wheel 。 然后你會安裝你的輪子。 Wheels 具有比直接從 pip 安裝許多包更快的額外好處。

2019年更新

請參閱有關如何在 Dataproc 上配置 Python 環境的教程： https ://cloud.google.com/dataproc/docs/tutorials/python-configuration