如何將頂點和邊批量加載到現有 AWS Neptune Graph

Question

我有一個正在運行的 AWS Neptune graphDB，它正在生產環境中使用。 我已經確定了我想添加的新頂點，這些頂點將連接到數據庫中特定的現有頂點。

我已經通過在https://github.com/awslabs/amazon-neptune-tools/tree/master/csv-to-neptune中使用“csv-to-neptune-bulk-format”腳本將其拆分來添加原始集-批量格式。

我的問題是，我怎樣才能以最有效的方式批量加載我的附加集？ 我對如何解決這個問題有兩個想法，但我希望有人知道更簡單的方法。

方法 1 將使用上面的“csv-to-neptune-bulk-format”腳本來拆分新的附加集，然后批量加載。 然后，我將擁有新集合與原始集合重疊的重復頂點，因為上述腳本將為新集合將連接到原始集合的頂點分配新的頂點 ID。 我有一個函數可以合並這些重復的頂點。 但是，這種方法可能會占用大量資源。

方法 2 將使用上述腳本拆分附加集，然后將生成的 csv 中連接頂點的 id 替換為將原始集與附加集連接的邊。 所以基本上邊緣csv將從[~id，~label，~from，~to]變為[~id，~label，補充從第一個bulkupload生成的頂點id ，~to]。

我希望我在某處遺漏了一些文檔或邏輯，這些文檔或邏輯將允許我​​使用現有的頂點 ID 來簡單地批量加載新處理的頂點 csv 和將新頂點與原始頂點連接起來的邊緣 csv。 任何幫助或建議將不勝感激。

Answer 1

批量加載器不僅可以用於第一次加載到空圖表中。 您可以使用它來添加新節點和邊，並在需要添加新屬性或替換現有（單基數）屬性的值時更新現有節點和邊。

我沒有使用csv-to-neptune-bulk-format工具，我通常直接為節點和邊生成 Neptune CSV 格式。

您能否多說一下您要攝取的數據當前采用的格式以及為什么需要使用該工具對其進行 ETL 處理？ 如果您可以添加更多信息，我將相應地更新此答案。