如何处理大量数据？

Question

我有一个学校项目，我获得了103MB的数据（安大略省的水流质量结果），相当于200 000多行数据。 我需要能够接收数据并从中创建视觉效果（例如安大略省的地图，其中的点表示在20XX中发现X化学物质的位置）。

我已经尝试过或多或少地接受了我的计算机显然无法处理的所有内容。 我想知道是否有可以帮助我的策略或功能。

我希望在获取数据后将信息放在2D ArrayList中。

---

例

数组名称：rawData

[0]，[1]，[2]

2002年，2003年，2004年

站号，站号，站号

化学。 发现，化学。 发现，化学。 发现

等等

如果这是存储数据的低效方式，那么更好的方法是什么？

---

任何帮助，将不胜感激。

附注：数据已经提供给我超过10个文件。 此外，文件扩展名为.csv，因此每行用逗号分隔（例如[year，chemical found，concentration percent>等]）

Answer 1

您可以使用ArrayLists。 使用您需要存储在对象中的值创建一个类。

例如：

class Data{
  String Year;
  String found;
  ---one property for each of the value you need--
}

然后，您可以填充此类的对象并将它们添加到arrayList。

Answer 2

除了Ardash的答案，您可能需要以块的形式读取数据。 如果使用BufferedReader，则可以逐行读取CSV文件。