Neo4j OutOfMemory错误：超出了GC开销限制

Question

我有一个Java应用程序，需要从MySQL / Maria数据库加载300K记录，以便将它们导入neo4j嵌入式数据库。 要获取所有必填字段，我需要加入4个表。 他们每个人都有将近30万条记录，彼此之间以1:1关系匹配。

这是代码：

String query = ""
    + "SELECT "
    + "     a.field1, "
    + "     a.field2, "
    + "     a.field3, "
    + "     f.field4, "
    + "     a.field5, "
    + "     a.field6, "
    + "     a.field7, "
    + "     a.field8, "
    + "     a.field9, "
    + "     a.field10, "
    + "     b.field11, "
    + "     b.field12, "
    + "     b.field13, "
    + "     l.field14, "
    + "     l.field15, "
    + "     a.field16 "
    + "FROM table1 a "
    + "LEFT OUTER JOIN table2 f ON f.pkTable2 = a.fkTable2 "
    + "LEFT OUTER JOIN table3 b ON b.pkTable3 = a.fkTable3 "
    + "LEFT OUTER JOIN table4 l ON l.pk1Table4 = a.fk1Table4 AND l.pk2Table4 = a.fk2Table4 ";

try (
    Connection connection = ds.getConnection();
    PreparedStatement statement = connection.prepareStatement(query);
    ResultSet rs = statement.executeQuery();
) {

    Transaction tx = graphDB.beginTx(); // open neo4j transaction
    int count = 0;

    int count = 0;
    rs.setFetchSize(10000);
    while(rs.next()) {
        String field1 = rs.getString("field1");
        String field2 = rs.getString("field2");
        String field3 = rs.getString("field3");
        String field4 = rs.getString("field4");
        String field5 = rs.getString("field5");
        String field6 = rs.getString("field6");
        String field7 = rs.getString("field7");
        String field8 = rs.getString("field8");
        String field9 = rs.getString("field9");
        String field10 = rs.getString("field10"); // <-- error comes here
        String field11 = rs.getString("field11");
        String field12 = rs.getString("field12");
        String field13 = rs.getString("field13");
        String field14 = rs.getString("field14");
        String field15 = rs.getBigDecimal("field15"); 
        String field16 = rs.getBigDecimal("field16");

        // process data - insert/update/delete in neo4j embedded DB
        if("D".equals(field16)) { // record deleted in mysql db - delete from neo4j too
            Map<String, Object> params = new HashMap<String, Object>();
            params.put("field1", field1);
            graphDB.execute(" MATCH (p:NODELABEL {field1:{field1}}) OPTIONAL MATCH (p)-[r]-() DELETE r,p", params);
        } else {
            Node node;
            if("M".equals(field16)) { // record modified, load the existing node and edit it
                node = graphDB.findNode(Labels.NODELABEL, "field1", field1);
            } else { // new record, create node from scratch
                node = graphDB.createNode(Labels.NODELABEL);
            }

            node.setProperty("field1", field1);
            node.setProperty("field2", field2);
            node.setProperty("field3", field3);
            node.setProperty("field4", field4);
            node.setProperty("field5", field5);
            node.setProperty("field6", field6);
            node.setProperty("field7", field7);
            node.setProperty("field8", field8);
            node.setProperty("field9", field9);
            node.setProperty("field10", field10);
            node.setProperty("field11", field11);
            node.setProperty("field12", field12);
            node.setProperty("field13", field13);
            node.setProperty("field14", field14);
            node.setProperty("field15", field15);
        }

        count++;
        if(count % 10000 == 0) {
            LOG.debug("Processed " + count + " records.");
            tx.success(); // commit
            tx.close();   // close neo4j transaction (should free the memory)
            tx = graphDB.beginTx(); // reopen the transaction
        }
    }

    // commit remaining records and close the last transaction
    tx.success();
    tx.close();
} catch (SQLException ex) {
    // LOG exception
}

一切正常，但是导入停止在300k，等待大约5秒钟并抛出OutOfMemoryException ：

java.lang.OutOfMemoryError: GC overhead limit exceeded
    at com.mysql.cj.core.util.StringUtils.toString(StringUtils.java:1665)
    at com.mysql.cj.core.io.StringValueFactory.createFromBytes(StringValueFactory.java:93)
    at com.mysql.cj.core.io.StringValueFactory.createFromBytes(StringValueFactory.java:36)
    at com.mysql.cj.core.io.MysqlTextValueDecoder.decodeByteArray(MysqlTextValueDecoder.java:232)
    at com.mysql.cj.mysqla.result.AbstractResultsetRow.decodeAndCreateReturnValue(AbstractResultsetRow.java:124)
    at com.mysql.cj.mysqla.result.AbstractResultsetRow.getValueFromBytes(AbstractResultsetRow.java:225)
    at com.mysql.cj.mysqla.result.ByteArrayRow.getValue(ByteArrayRow.java:84)
    at com.mysql.cj.jdbc.result.ResultSetImpl.getString(ResultSetImpl.java:880)
    at com.mysql.cj.jdbc.result.ResultSetImpl.getString(ResultSetImpl.java:892)
    at org.apache.tomcat.dbcp.dbcp2.DelegatingResultSet.getString(DelegatingResultSet.java:266)
    at org.apache.tomcat.dbcp.dbcp2.DelegatingResultSet.getString(DelegatingResultSet.java:266)
    at com.js.Importer.importData(Importer.java:99)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:497)

当我为table3和table4添加外部table3时出现此异常。 在进行这些新连接之前，没有任何错误。

我尝试在计算机上重新执行代码监视资源使用情况，结果发现该应用在处理数据时需要占用2GB RAM和100％CPU。 当它达到2GB RAM时，内存将耗尽。

我已经读过这个答案 。 在评论部分中，您可以找到：

蒂姆：将您的答案总结如下是正确的：“就像一个'Java堆空间不足'错误。使用-Xmx为它提供更多的内存。” ？

OP：@Tim：不，那是不正确的。 虽然为它提供更多的内存可以减少问题，但您还应该查看代码，看看为什么它会产生那么多的垃圾，以及为什么代码在“内存不足”标记的下方略读。 这通常是代码损坏的迹象。

因此，我也可以给应用程序提供更高的RAM，但这似乎是一种解决方法，所以我想解决此问题。

我还尝试使用VisualVM对应用程序进行性能分析，结果是：

似乎neo4j会将所有节点都保留在内存中，即使我一次处理10K节点也要避免内存开销。

如何阻止它这样做？

如何解决内存问题？

Answer 1

为了解决内存问题，我建议您将方法更改为：

• 首先，将MySQL / MariaDB select语句的结果集导出到CSV文件。
• 之后，使用LOAD CSV子句将CSV文件导入到Neo4j数据库中。 使用LOAD CSV ，可以USING PERIODIC COMMIT设置定期提交的速率。

从文档 ：

如果CSV文件包含大量行（接近数十万或数百万），则可以使用USING PERIODIC COMMIT指示Neo4j在多行之后执行提交。 这减少了事务状态的内存开销 。 默认情况下，提交将每1000行发生一次。

基本的导入脚本如下所示：

USING PERIODIC COMMIT 10000 // Commit after 10000 rows
LOAD CSV FROM 'path/to/csv/file.csv' AS line
// you can use line.field1 to access field1 property

// your Cypher statements go here, for example
CREATE (:Node { field1: line.field1})

如果内存问题仍然存在，请尝试将定期提交率降低到较低的值。

Answer 2

您如何启动您的应用程序？ 这是嵌入式的还是服务器扩展或过程？

如果是后者，则有一个外部Neo4j事务正在使您的内部批处理不起作用。

应用程序的堆配置和页面缓存配置是什么？

如果不使用Neo4j位执行查询会怎样？

您可以在此处使用DETACH DELETE ，但应关闭结果以释放资源。 同样，根据您在这里有多少关系，事务中的记录数可能会大大增加，因此您可能需要减小批处理大小。

graphDB.execute(" MATCH (p:NODELABEL {field1:{field1}}) DETACH DELETE p", params).close();