簡體   English   中英

如何拆分巨大的 CSV 文件?

[英]How to split huge CSV file?

我有一個 csv 文件,其中包含 40k 行和 1 列,因為所有數據都用分號分隔。

insert_date;currency_from;currency_to;currency_value
0   2017-01-02 00:00:00.000;EUR;TL;3.7073
1   2017-01-02 00:00:00.000;USD;TL;3.5445
2   2017-01-02 00:00:00.000;GBP;TL;4.3510
3   2017-01-02 00:00:00.000;BTC;USD;0.0000
4   2017-01-02 00:00:00.000;EUR;USD;1.0459

這就是我的數據 pandas dataframe 的樣子。我想用分號分隔以形成單獨的列。

在 pandas 中,這是根據文檔使用sep參數完成的:

import pandas as pd

df = pd.read_csv('/path/to/file.csv', sep=';')

你是說你想要一份字典列表嗎?

import csv

with open('your/path/to/your/file.csv') as f:
    data = [i for i in csv.DictReader(f, delimiter=';')

process_your_data()

嘗試使用 str.spilt()

語法:Series.str.split(pat=None, n=-1, expand=False) 參數:

pat:字符串值、分隔符或定界符,用於分隔字符串。 n:在單個字符串中進行的最大分隔數,默認為 -1,表示全部。 expand: Boolean 值,如果為真,則返回不同列中具有不同值的數據框。 否則它返回一個帶有字符串列表的系列。

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM