[英]OrientDB - don't release memory after insert
我使用NodeJS將8.000.000記錄插入到我的orientdb數據庫中,但在大約2.000.000插入記錄后,我的應用程序停止並顯示錯誤“Java Heap”。
插入每條記錄后是否有釋放內存的方法?
拉姆用法:
-befor start app:2.6g
- 插入2milions記錄:7.6g
var dbConn = [];
var dbNext = 0;
var dbMax = 25;
for (var i = 0; i <= dbMax; i++) {
var db = new ODatabase({
host: orientdb.host,
port: 2424,
username: 'root',
password: orientdb.password,
name: 'test',
});
dbConn.push(db);
}
//---------------------------------------------------
//Start loop
// record = {name: 'test'}
record["@class"] = "table";
var db = nextDB();
db.open().then(function () {
return db.record.create(record);
}).then(function (res) {
db.close().then(function () {
//----resume loop
});
}).error(function (err) {
//------
});
// end loop - iteration loop
//---------------------------------------------------
function nextDB() {
if (++dbNext >= dbMax) {
dbNext -= dbMax;
}
return dbConn[dbNext];
}
OrientJS無法有效地將大量數據從SqlServer插入到OrientDB 。 我使用ETL模塊進行大量插入,這是運送大量數據的最快方式和好主意,而不會增加超過2GB的內存。
我每分鍾可以運送7.000條記錄。
我的ETL的config.json:
{
"config": {
log : "debug"
},
"extractor" : {
"jdbc": { "driver": "com.microsoft.sqlserver.jdbc.SQLServerDriver",
"url": "jdbc:sqlserver://10.10.10.10;databaseName=My_DB;",
"userName": "sa",
"userPassword": "123",
"query": "select * from My_Table"
}
},
"transformers" : [
{ "vertex": { "class": "Company"} }
],
"loader" : {
"orientdb": {
"dbURL": "plocal:D:\DB\Orient_DB",
dbUser: "admin",
dbPassword: "admin",
"dbAutoCreate": true,
"tx": false,
"batchCommit": 1000,
"wal" : false,
"dbType": "graph"
}
}
}
從文檔中 ,對於大量插入,您應該聲明您的意圖:
db.declareIntent( new OIntentMassiveInsert() );
// YOUR MASSIVE INSERTION
db.declareIntent( null );
但到目前為止,它似乎沒有在orientJS驅動程序中實現。 另一件事是您不應為每個創建的新記錄打開/關閉數據庫。 這通常是不好的做法。
我現在還沒有node.js環境,但是這樣的事情可以解決這個問題:
db.open().then(function () {
// when available // db.declareIntent( new OIntentMassiveInsert() );
for (var i = 0; i < 8000000; i++) {
// create a new record
myRecord = { "@class" : "myClass", "attributePosition" : i };
db.record.create(myRecord);
}
// when available // db.declareIntent( null );
}).then(function () { db.close() });
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.