合并 200 个大型（50mb 到 500mb）CSV 文件的最快方法是什么？ [关闭]

Question

关闭。 这个问题需要细节或清晰。 它目前不接受答案。

---

想改善这个问题吗？ 通过编辑此帖子添加详细信息并澄清问题。

去年关闭。

改进这个问题

我有大约 200 个大型 CSV 数据集。 都是一样的格式。 其中大约一半是> 100mb。 我需要一种将它们合并为 1 个（或几个数据库）的方法。

我尝试使用数据工厂将它们放入 azure 数据库中，但是只上传一个 csv 需要很多时间，更不用说 200。

任何人都可以推荐一种快速且相对轻松的方式将这些文件放入某种数据库中吗？ （理想情况下可以支持 SQL 提取）

Answer 1

这将是您的 Python 脚本的基本大纲： 由

fout=open("out.csv","a")
# first file:
for line in open("sh1.csv"):
    fout.write(line)
# now the rest:    
for num in range(2,201):
    f = open("sh"+str(num)+".csv")
    f.next() # skip the header
    for line in f:
         fout.write(line)
    f.close() # not really needed
fout.close()

另一个例子

另一个应该适合你的例子