處理大數據集（neo4j，mongo db，hadoop）

Question

我正在尋找處理數據的最佳實踐。 所以，這就是我到目前為止所得到的：1.000.000個類型為“ A”的節點。 每個“ A”節點可以連接到“ B”類型的1-1000個節點和“ C”類型的1-10個節點。

我編寫了一個RESTful服務（Java，Jersey），將數據導入neo4j圖。 導入節點“ A”（僅包含ID的節點，沒有其他數據）后，我注意到neo4j db已增長到〜2.4GB。

在neo4j中存儲其他字段（名稱，描述等）是個好主意嗎？ 還是應該設置mongoDB / hadoop以使用鍵/值組合進行數據訪問？

Answer 1

在插入過程中是否刪除了很多節點？ 通常，一個節點在磁盤上占用9個字節，因此您的1M個節點應僅占用9M個字節。 您必須啟用ID重用才能主動回收內存。

您能否列出數據目錄的內容以及文件大小？

通常，如果其他字段不是大Blob字段，則將它們放在neo4j中是沒有問題的。

您是如何創建數據庫的？