CSV Java文件读取和保存（在不同的ArrayList中）

Question

好的队友，这是我的代码。 我遇到了一个问题，因为“ records.csv”是一个包含多达2000万行的文件，每个行由4个字段组成，并以'，'分隔。

正如您从代码中可以理解的那样，我想拥有4个Arraylist，每个数组具有不同字段的所有值。 一段时间后该方法停止工作（我认为是因为要将元素“添加”到列表中，所以Java具有一个指针，该指针必须先执行所有arraylist）。

我需要解决，但我不知道如何。

有什么建议吗？

import java.io.BufferedReader;
import java.io.FileReader;
import java.io.IOException;
import java.util.ArrayList;

    public class RecordReader {
    static ArrayList<String> id = new ArrayList <String> ();
    static ArrayList<String> field1 = new ArrayList <String> ();
    static ArrayList<String> field2 = new ArrayList <String> ();
    static ArrayList<String> field3 = new ArrayList <String> ();



    public static void Reader () {
        try {
        FileReader filein = new FileReader("Y:/datasets/records.csv");
        String token="";
        String flag = "id";
        int index=0, next;

        do {
            next = filein.read();

            if (next != -1) {

                if (next !=',' && next !='\n') 
                    token = token + next;

                else if (next == ','){
                    if (flag.compareTo("id")==0) {id.add (index, token); flag = "field1";}
                    else if (flag.compareTo("field1")==0) {field1.add (index, token); token=""; flag = "field2";}
                    else if (flag.compareTo("field2")==0) {field2.add (index, token); token=""; flag = "field3";}
                }

                else if (next == '\n') { 
                    if (flag.compareTo("field3")==0) {field3.add (index, token); token=""; flag = "id"; index++;} 
                }

                char nextc = (char) next; 
                System.out.print(nextc); 
                }
        } while (next!=-1);

        filein.close();
        }
        catch (IOException e) { System.out.println ("ERRORE, birichino!"); }
    }
}

我必须一次完成所有操作，文件为711000字节。

Exception in thread "main" java.lang.OutOfMemoryError: Java heap space at java.nio.CharBuffer.wrap(Unknown Source) at sun.nio.cs.StreamEncoder.implWrite(Unknown Source) at sun.nio.cs.StreamEncoder.write(Unknown Source) at java.io.OutputStreamWriter.write(Unknown Source) at java.io.BufferedWriter.flushBuffer(Unknown Source) at java.io.PrintStream.write(Unknown Source) at java.io.PrintStream.print(Unknown Source) at RecordReader.Reader(RecordReader.java:42) at prova.main(prova.java:26)

Answer 1

我有两个建议给您。

首先，您不需要有4个单独的ArrayLists ，只需一个就可以了。 而不是使用filein.read() ，我将用BufferedReader包装您的FileReader ，并使用它逐行读取文件，并将每一行添加到单个ArrayList 。

BufferedReader br = new BufferedReader(filein);
ArrayList<String> content = new ArrayList<String>();
String line = br.readLine();
while(line != null){
    //add lines to ArrayList
    content.add(line);
    line = br.readLine();
}

这将把整个文件的内容读入内存，而不会产生3个额外的ArrayLists的额外开销。

其次，由于您的字段由分隔,并且（我假设）字段的数量始终相同，因此您可以使用split（）方法将每一行分成字符串数组。

String[] record = content.get(index).split(",");
//record[0] = id
//record[1] = field1
//record[2] = field2
//record[3] = field3

将以上内容放入循环中，即可遍历文件的所有内容。 由于您知道信息的排序方式，因此检索所需信息非常简单。

但是，我警告您，如果文件足够大（具有多个GB的数据），此方法最终也会失败。

Answer 2

您是否可以尝试使用-Xmx选项运行应用程序，如下所示

java -Xmx6g [javaclassfile]

我能够解决类似的问题。