如何從 GAE Python 上的 cron 啟動 mapreduce 作業

Question

我在 mapreduce.yaml 中定義了 mapreduce 作業：

mapreduce:
- name: JobName 
  mapper:
    input_reader: google.appengine.ext.mapreduce.input_readers.DatastoreInputReader
    handler: handler_name
    params:
    - name: entity_kind
      default: KindName

如何從 cron 啟動它？ 有沒有可以運行的url？

Answer 1

您可以使用control.py從任何類型的 AppEngine 處理程序啟動 mapreduce 任務

from mapreduce import control

mapreduce_id = control.start_map(
    "My Mapper",
    "main.my_mapper",
    "mapreduce.input_readers.DatastoreInputReader",
    {"entity_kind": "models.MyEntity"},
    shard_count=10)

Answer 2

是的，如果您查看Getting Started頁面，它顯示您在 app.yaml 中設置了app.yaml ：

handlers:
- url: /mapreduce(/.*)?
  script: mapreduce/main.py
  login: admin

然后，您可以以通常的 App Engine 方式對其進行 cron 執行，在本例中將編寫一個cron.yaml ，如下所示：

cron:
- description: daily summary job
  url: /mapreduce
  schedule: every 24 hours