仅将匹配的数据从CSV导入MySQL

Question

我需要从非常大的csv文件（大约1GB）中导入一些数据。

我只想导入匹配的数据，而不是全部导入，我认为这比导入所有数据更容易，更快捷。

我需要搜索CSV文件的“邮政编码区域”列，如果其中包含LS1或LS2或LS10，则将匹配的数据导入SQL中的表格中？

Answer 1

误解。 您认为针对数据库表过滤文本文件比将整个文件加载到数据库中要快。

我支持在某些极端情况下可能确实如此。 但是，通常，处理此类情况的最安全方法是：

• 将文件导入到临时表中。
• 根据需要将索引添加到登台表以提高性能。
• 运行查询以从登台表复制所需的数据。

我可以用另一种方式来表达。 在花时间弄清楚如何有效地组合文件和数据库表中的信息时，您可能需要经历10到50次上述过程。