[英]Best way to import daily large amounts of data to a csv with Python
我需要 web 使用 Selenium 使用 Python 抓取數據，因為我從中獲取數據的網站會創建動態內容。 由於大量數據（行）和特定網站，我需要讓程序每天運行（可能一個月）。 最終，所有數據都將存儲在 CSV 文件中。
我正在考慮將每次迭代的每一行數據insert PostgreSQL，當我完成抓取時，將表復制到 CSV 文件中。 我的另一個選擇是在每次迭代中逐行保持打開 CSV 文件和append文件。
最有效的方法是什么？
從文檔：
“請注意，使用 COPY 加載大量行幾乎總是比使用 INSERT 快。”
將大量數據導入Firebase數據庫的正確方法是什么？
[英]What is the proper way to import large amounts data into a Firebase database?
在 python 張量中導入 CSV 數據以進行機器學習的最佳方法？
[英]Best way to import CSV data in a python tensor for machine learning?
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
