扫描一个mysql表，为什么逐行获取结果集要比在内存中完全检索它们快得多？

Question

我们有一个有12,000,000条记录的innodb表。

我使用JDBC从这个表中使用两种方法来SELECT * 。

Statement stmt = conn.createStatement(java.sql.ResultSet.TYPE_FORWARD_ONLY,java.sql.ResultSet.CONCUR_READ_ONLY);
stmt.setFetchSize(Integer.MIN_VALUE);

这样，驱动程序可以逐行传输结果集，完成扫描需要7秒。

Statement stmt =conn.createStatement();

ResultSet完全检索并存储在内存中。这种方式需要21秒！

只是感到困惑，为什么逐行获取结果集比检索完成到客户端内存的结果集更快？ 逐行的方式不应该花费更多的时间进行网络传输？

Answer 1

只是为了扩展我对OP的评论

这很可能是内存问题 - 将12m结果读入内存可能会导致分页，除非客户端有大量内存。 一旦开始颠倒磁盘，性能就会大幅下降。 值得注意的是，如果你开始增加RAM，那么JVM在如何处理> 32G（它切换到64位指针）方面有一些怪癖，这意味着当你过渡到32G时，实际上会丢失可用内存，并且可能还有其他问题。如何编写代码。

为了正确看待问题，我们目前正在使用弹性搜索来索引约6,000万份文档。 不可否认，内存使用将涉及更多，因为它处理索引，缓存等...但我们不会考虑给它少于16G的RAM来获得高性能响应。 我遇到过每个碎片使用> 100G的人才能获得非常大的记录集。