僅將匹配的數據從CSV導入MySQL

Question

我需要從非常大的csv文件（大約1GB）中導入一些數據。

我只想導入匹配的數據，而不是全部導入，我認為這比導入所有數據更容易，更快捷。

我需要搜索CSV文件的“郵政編碼區域”列，如果其中包含LS1或LS2或LS10，則將匹配的數據導入SQL中的表格中？

Answer 1

誤解。 您認為針對數據庫表過濾文本文件比將整個文件加載到數據庫中要快。

我支持在某些極端情況下可能確實如此。 但是，通常，處理此類情況的最安全方法是：

• 將文件導入到臨時表中。
• 根據需要將索引添加到登台表以提高性能。
• 運行查詢以從登台表復制所需的數據。

我可以用另一種方式來表達。 在花時間弄清楚如何有效地組合文件和數據庫表中的信息時，您可能需要經歷10到50次上述過程。