如何自动化德鲁伊批量摄取工作？

Question

我正在 EMR 集群上设置 Druid，并使用 Batch Ingestion 从 gcs 存储桶成功摄取 parquet 文件。

现在，我想自动化这个摄取过程，以便每天为具有相同配置的不同文件（在同一个 s3 存储桶中）运行。 这可能吗？ 或者我是否需要每天手动执行此操作。

Answer 1

不可能在德鲁伊中创建每天安排的工作。 但是，您可以使用（例如）cronjob 创建您的任务并每天提交它。

向德鲁伊发送查询只不过是执行 HTTP 请求。 因此，如果您确保文件每天都位于同一位置，您应该能够轻松实现自动化。

curl -X 'POST' -H 'Content-Type:application/json' -d @/path/to/your/task.json https://url-to-druid.com/druid/indexer/v1/task