Java OutOfMemoryError：处理大型文本文件时，超出了GC开销限制-无法弄清楚如何提高性能

Question

注意：我浏览了有关此问题的所有主题，并且我知道这通常取决于JVM设置和有效的编码，但是我不知道如何进一步改进。

我正在处理CAIDA网络拓扑的大文本文件（1GB），这基本上是整个Internet IPv4拓扑的转储。 每行的格式均为“节点大陆地区国家/地区城市纬度经度”，我需要过滤所有重复的节点（例如，具有相同纬度/经度的每个节点）。

我为具有相同地理位置的所有节点分配唯一名称，并维护每个遇到的哈希表->已遇到的唯一名称。 我还维护每个oldname-> unique名称的哈希图，因为在下一步中，我必须处理另一个文件，这些旧名称必须映射到每个位置的新唯一名称。

我用Java编写了此代码，因为这是我所有其他处理的地方，但是我遇到“超出GC开销限制”的错误。 以下是我正在执行的代码和错误日志：

        Scanner sc = new Scanner(new File(geo));
        String line = null;

        HashMap<String, String> nodeGeoMapper = new HashMap<String, String>(); // maps each coordinate to a unique node name
        HashMap<String, String> nodeMapper = new HashMap<String, String>(); // maps each original node name to a filtered node name (1 name per geo coordinate)

        PrintWriter output = new PrintWriter(geoFiltered);
        output.println("#node.geo Name\tcontintent\tCountry\tregion\tcity\tlatitude\tlongitude");
        int frenchCounter = 0;

        // declare all variables used in loop to avoid creating thousands of tiny objects
        String[] fields = null;
        String name = null;
        String continent = null;
        String country = null;
        String region = null;
        String city = null;
        double latitude = 0.0;
        double longitude = 0.0;
        String key = null;
        boolean seenBefore = true;
        String newname = null;
        String nodename = null;

        while (sc.hasNextLine()) {
            line = sc.nextLine();
            if (line.startsWith("node.geo")) {

                // process a line and retrieve the fields
                fields = line.split("\t"); // split all fields using the space as separator
                name = fields[0];
                name = name.trim().split(" ")[1]; // nodes.geo' 'N...
                continent = ""; // is empty and gets skipped
                country = fields[2];
                region = fields[3];
                city = fields[4];
                latitude = Double.parseDouble(fields[5]);
                longitude = Double.parseDouble(fields[6]);

                // we only want one node for each coordinate pair so we map to a unique name
                key = makeGeoKey(latitude, longitude);

                // check if we have seen a node with these coordinates before
                seenBefore = true;
                if (!nodeGeoMapper.containsKey(key)) {
                    newname = "N"+nodeCounter;
                    nodeCounter++;
                    nodeGeoMapper.put(key, newname);
                    seenBefore = false;
                    if (country.equals("FR"))
                        frenchCounter++;
                }
                nodename = nodeGeoMapper.get(key); // retrieve the unique name assigned to these geo coordinates
                nodeMapper.put(name, nodename); // keep a reference from old name to new name so we can map later


                if (!seenBefore) {
                //  System.out.println("node.geo "+nodename+"\t"+continent+"\t"+country+"\t"+region+"\t"+city+"\t"+latitude+"\t"+longitude);
                    output.println("node.geo "+nodename+"\t"+continent+"\t"+country+"\t"+region+"\t"+city+"\t"+latitude+"\t"+longitude);
                }

            }
        }
        sc.close();
        output.close();
        nodeGeoMapper = null;

错误：

Exception in thread "main" java.lang.OutOfMemoryError: GC overhead limit exceeded
at java.util.regex.Matcher.<init>(Unknown Source)
at java.util.regex.Matcher.toMatchResult(Unknown Source)
at java.util.Scanner.match(Unknown Source)
at java.util.Scanner.hasNextLine(Unknown Source)
at DataProcessing.filterGeoNodes(DataProcessing.java:236)
at DataProcessing.main(DataProcessing.java:114)

在执行期间，我的Java进程一直在80％的CPU上持续运行，总共有1,000,000K（大约）内存（笔记本电脑总共有4GB）。 输出文件到达59987个唯一节点，因此这是GeoLocation-> Name哈希图中的键值数量。 我不知道oldName-> NewName哈希图的大小，但这应该小于Integer.Max_value，因为我的文本文件中没有那么多行。

我的两个问题是：

• 如何改善代码以使用更少的内存或避免拥有太多GC？ （编辑：请保持它与Java 7兼容）

• （已解决）我已经读过有关-Xmx1024m之类的JVM设置的线程，但是我不知道在Eclipse IDE中可以更改这些设置的位置。 有人可以告诉我我需要在哪里设置这些设置以及我想尝试哪些设置吗？

谢谢

已解决：对于有类似问题的人，问题在于nodeMapper哈希图，该哈希图必须存储3400万个String对象，导致需要4GB以上的内存。 通过首先禁用GC阈值-XX：-UseGCOverheadLimit，然后使用-Xmx4gb为我的Java进程分配4GBRAM，我能够运行程序。 处理它花了很长时间，但它确实起作用，只是速度很慢，因为一旦Java达到3-4GB RAM，它就会花费大量时间来收集垃圾而不是处理文件。 一个更强大的系统不会有任何问题。 感谢您的所有帮助！

Answer 1

对于Eclipse运行配置中的JVM参数

您也可以在运行时尝试添加此选项：-XX：-UseGCOverheadLimit

此标志的有趣解释以及您的错误消息在这里