导入大量数据，高效搜索

Question

我目前正在编写一个接收两个 CSV 的程序——一个包含数据库密钥（以及与当前问题无关的其他信息），另一个是资产清单。 该程序从第一个 CSV 中检查数据库密钥，查询在线数据库以检索资产密钥，然后从第二个 CSV 获取资产状态。 （这是一个愚蠢的 API 问题的解决方法。）

我的问题是，虽然正在迭代的 CSV 相对较短 - 通常只有大约 300 行长 - 另一个是资产清单，很容易长 10000 行（并且排序，虽然不是按我可以从第一个获得的密钥CSV）。 我显然不想为每个输入行迭代整个资产清单，因为这将花费大约 10 个永恒。

我是一个相当缺乏经验的程序员，所以我只知道排序/搜索算法，我绝对不知道用什么来做这个。 什么算法最有效？ 有没有办法“批量查询”输入 CSV 中列出的所有资产的清单，这比单独搜索每个键的清单更快？ 或者我应该使用树或哈希表或我在其他 SE 线程中提到的其他东西？ 我对这些中的任何一个的性能影响一无所知。

我可以在输入时根据需要格式化清单（它只是复制粘贴到 GUI 中），所以我想我可以在输入时迭代整个清单并制作 key:line 对的哈希表然后搜索？ 或者我可以把它变成一个二维数组，只搜索指定的索引？ 我能想到的就这些了。

问题是，我不知道这样的计算机操作需要多少时间，以及这是否会浪费时间或实际上会提高性能。

Ps 我目前正在使用 Java，因为这就是我所知道的，但如果另一种语言会更快，那么我会全神贯注。

Answer 1

简单的解决方案是创建一个HashMap ，遍历其中一个文件并将该文件的每一行添加到HashMap （具有相应的键和值），然后遍历另一个并查看创建的HashMap包含键是的，将数据添加到另一个HashMap ，然后在迭代后返回第二个HashMap 。

假设我们有test1.csv文件key,name,family其内容如下：

5000,ehsan,tashkhisi
2,ali,lllll
3,amel,lllll
1,azio,skkk

和test2.csv文件key,status内容如下：

1000,status1
1,status2
5000,status3
4000,status4
4001,status1
4002,status3
5,status1

我们想要这样的 output ：

1 -> status2
5000 -> status3

简单的代码如下：

Java 8 Stream：

private static Map<String, String> findDataInTwoFilesJava8() throws IOException {
    Map<String, String> map =
            Files.lines(Paths.get("/tmp/test2.csv")).map(a -> a.split(","))
                    .collect(Collectors.toMap((a -> a[0]), (a -> a[1])));
    return Files.lines((Paths.get("/tmp/test1.csv"))).map(a -> a.split(","))
            .filter(a -> map.containsKey(a[0]))
            .collect(Collectors.toMap(a -> a[0], a -> map.get(a[0])));
}

简单Java：

private static Map<String, String> findDataInTwoFiles() throws IOException {
    String line;
    Map<String, String> map = new HashMap<>();
    BufferedReader br = new BufferedReader(new FileReader("/tmp/test2.csv"));
    while ((line = br.readLine()) != null) {
        String[] lienData = line.split(",");
        map.put(lienData[0], lienData[1]);
    }
    Map<String, String> resultMap = new HashMap<>();
    br = new BufferedReader(new FileReader("/tmp/test1.csv"));
    while ((line = br.readLine()) != null) {
        String key = line.split(",")[0];
        if(map.containsKey(key))
            resultMap.put(key, map.get(key));
    }
    return resultMap;
}