在Google Composer中安裝hadoopy

Question

我正在使用google composer 。

我們如何在google composer environment Composer google composer environment安裝hadoopy 。

此頁面包含在Linux機器上安裝 hadoopy的步驟

Github克隆

git clone https://github.com/bwhite/hadoopy.git
cd hadoopy
sudo python setup.py install

PIP安裝

sudo pip install -e git+https://github.com/bwhite/hadoopy#egg=hadoopy

我沒有如何在Google Composer Environment中安裝它

Answer 1

該軟件包似乎在Python Package Index上可用。 因此，您可以通過Web UI（您的作曲者環境> Pypi軟件包選項卡>編輯>添加<your_dependency>==<version> ）進行安裝。 您也可以通過命令行執行此操作：

gcloud composer environments update ENVIRONMENT-NAME \
    --update-pypi-packages-from-file requirements.txt \
    --location LOCATION

requirements.txt應包含以下內容：

hadoopy==0.6.0

請注意，安裝依賴項可能會很長（Composer需要使用隨附的軟件包重建Docker映像）。

如果您想直接從Github上的源添加依賴項，則必須遵循docs： 安裝本地Python庫中所述的步驟。