無法在 ArangoDB 中批量上傳日志數據？

Question

我需要在 ArangoDB 中批量上傳日志數據。 它不是 JSON 和 CSV 格式，而是 gz 格式的日志數據。

203.109.94.55 - - [19/Jun/2015:16:02:45 +0000] "GET /origin-cdn.firstcry.com/brainbees/images/products/thumb/506739a.jpg HTTP/1.1" 200 "-21514 " "Mozilla/5.0 (Linux; Android 4.4.4; XT1022 Build/KXC21.5-40) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.114 Mobile Safari/537.36""-" 183.807.73 19/Jun/2015:16:02:45 +0000] "GET /origin-cdn.firstcry.com/brainbees/images/products/bigthumb/555258a.jpg HTTP/1.1" 200 34903 "-" "Dalvik/2.1. 0 (Linux; U; Android 5.0.2; AO5510 Build/LRX22G)" "-" 183.87.73.202 - - [19/Jun/2015:16:02:45 +0000] "GET /origin-cdn.firstcry.com /brainbees/images/products/bigthumb/555401a.jpg HTTP/1.1" 200 32334 "-" "Dalvik/2.1.0 (Linux; U; Android 5.0.2; AO5510 Build/LRX22G)" "-"

即使我們嘗試通過 Arangosh 上傳單個文件，它也不會上傳並生成格式無效的錯誤。 我每天有 2 GB 的數據要上傳和處理，我該如何通過 ArangoDB 進行處理？ 由於我瀏覽了 ArangoDB 的文檔，發現只有 JSON 的批量上傳。 任何有關如何上傳和處理相同內容的幫助將不勝感激？

Answer 1

ArangoDB 僅支持批量上傳 JSON、CSV 或 TSV。 因此，您需要轉換日志文件。 我很好的起點是谷歌。 例如，有一個名為“log2json”的項目：

https://github.com/kadnan/logs2json

通過一些小的調整，您應該能夠生成 JSON 行（上述項目創建了一個大型 JSON，這不是您想要的）。