如何在Elasticsearch中索引Twitter数据？

Question

我已经使用流式API从Twitter上获取了一些数据。 该文件具有与数据相对应的json行。 我想在elasticsearch中为该数据建立索引，以便可以轻松地对其进行搜索。

我使用以下命令进行索引

cat file.json | jq -c '.[] | {"index": {"_index": "bookmarks", "_type": "bookmark", "_id": .id}}, .' | curl -XPOST localhost:9200/_bulk --data-binary @-

但它导致以下错误。

jq: error (at <stdin>:127687): Cannot index string with string "id"

Answer 1

无需手动完成所有操作，您只需使用Logstash Twitter Input。

我写了一篇关于它的博客文章 。