使用CSV / XLS導入大量數據
[英]Import large number of data using CSV/XLS
問題描述
我具有導入功能，可以上傳CSV / XLS文件以導入數據。 我有30000個記錄（CSV）文件。（大小：3.4 MB）。
該文件將花費40到50分鍾。 導入數據。
根據每條記錄，我將數據存儲到3個表中。
我想減少導入數據的時間。 我該怎么辦請幫幫我
提前致謝
1 個解決方案
解決方案1
0 2015-02-20 08:20:30
我將假設您正在使用數據庫中的表。 導入3.4 MB不需要花費那么長時間即可導入。 在我最近的一個項目中，我不得不導入並解析100MB +的字典文件，並且只花了一分鍾（基於python）。
時間實際上取決於您編寫的代碼。 盡管需要尋找一些東西，這將有助於減少導入時間。
首先是不要循環打印任何值。 任何一種語言通常都會花費大量時間。
同樣只打開數據庫一次，當您處於相同功能或問題空間時，無需關閉數據庫。
使用executemany功能（如果可用）。 當您准備好提交所有更改時，請一次提交所有更改。
看看您如何構造導入功能也很高興，那么我也許可以提供更多詳細信息。
編輯：請參閱提高SQLite的每秒INSERT性能？
如何在Rails上使用ruby將大尺寸（5.5Gb）CSV文件導入Postgresql？
[英]How to import a large size (5.5Gb) CSV file to Postgresql using ruby on rails?
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.