如何從mongodb逐塊讀取數據並寫入posrgres

Question

我有一個正在運行的mongo db。 我想將數據從MongoDB移至Postgres，以實現某些遷移要求。

現在談到數據部分，我打算編寫一個實用程序，該實用程序將從MongoDB中讀取數據並寫入Postgres。

在這里，我想從mongo db（包含240335行）到Postgres讀取所有數據。

我無法將整個數據讀到應用程序的內存中。 我想批量讀取10000，然后寫一些修改並將其寫入Postgres，然后再次讀取下一個10000，再重復一次。

我怎樣才能做到這一點？

Answer 1

我從沒做過，但是我認為您可以使用游標分別上傳記錄。 問題-解決方案將效率低下。

例

var myCursor = db.bios.find( );
var myDocument = myCursor.hasNext() ? myCursor.next() : null;

if (myDocument) {
    var myName = myDocument.name;
    print (tojson(myName));
    //put record to db or add to batch, and upload if 1000 in collection
}

也許您可以使用流？ 我不知道是否可以在MongoDB中使用流。