Dataproc 中的 nltk.download('wor.net')

Question

當我在 Dataproc 中運行以下腳本時

import nltk
nltk.download('wordnet')

nltk_data 僅在主節點中下載，而不會在工作節點中下載。 因此在 dataproc 中提交 PySpark 作業時無法從工作節點讀取。

你有什么建議？ 如何也可以在工作節點中下載 nltk_data？

Answer 1

您可以使用 init 操作在所有集群節點上執行此操作： https://cloud.google.com/dataproc/docs/concepts/configuring-clusters/init-actions