用于 Google App Engine 的 NLTK

Question

我关注了这个线程上的所有内容，但我无法在 Google App Engine 上使用 NLTK。

我非常需要 GAE 上的 NLTK，请帮忙。 我面临以下问题。

>>> import nltk
>>> sentence = """At eight o'clock on Thursday morning
... Arthur didn't feel very good."""
>>> tokens = nltk.word_tokenize(sentence)
>>> tokens
['At', 'eight', "o'clock", 'on', 'Thursday', 'morning', '...', 'Arthur', 'did', "n't", 'feel', 'very', 'good', '.']
>>> tagged = nltk.pos_tag(tokens)

Traceback (most recent call last):
  File "<pyshell#4>", line 1, in <module>
    tagged = nltk.pos_tag(tokens)
  File "C:\Python27\lib\site-packages\nltk\tag\__init__.py", line 99, in pos_tag
    tagger = load(_POS_TAGGER)
  File "C:\Python27\lib\site-packages\nltk\data.py", line 605, in load
    resource_val = pickle.load(_open(resource_url))
  File "C:\Python27\lib\site-packages\nltk\data.py", line 686, in _open
    return find(path).open()
  File "C:\Python27\lib\site-packages\nltk\data.py", line 467, in find
    raise LookupError(resource_not_found)
LookupError: 
**********************************************************************
  Resource 'taggers/maxent_treebank_pos_tagger/english.pickle' not
  found.  Please use the NLTK Downloader to obtain the resource:
  >>> nltk.download()
  Searched in:
    - 'C:\\Users\\Anshu/nltk_data'
    - 'C:\\nltk_data'
    - 'D:\\nltk_data'
    - 'E:\\nltk_data'
    - 'C:\\Python27\\nltk_data'
    - 'C:\\Python27\\lib\\nltk_data'
    - 'C:\\Users\\Anshu\\AppData\\Roaming\\nltk_data'
**********************************************************************
>>> 

Answer 1

如果有人正在寻找快速答案（英语中的标记器非常小，因此它适合谷歌应用程序引擎）：

1. 从http://www.nltk.org/nltk_data下载 Punkt Tokenizer 模型
2. 在 app.yaml 所在的位置创建一个名为 /nltk_data/tokenizers/punkt/PY3 的目录
3. 从 Punkt Tokenizer Models 文件 (punkt.zip) 中的 PY3 目录中提取 english.pickle
4. 将 english.pickle 复制到 ./nltk_data/tokenizers/punkt/PY3/
5. 只需在 app.yaml 中添加以下几行： env_variables: NLTK_DATA: './nltk_data/'

Answer 2

1) 转到您的云控制台

2) 运行以下命令：

pip install -U textblob
python -m textblob.download_corpora

它将使用语料库下载 nltk 数据。 现在只需再次部署您的应用程序，它就会工作。