[英]How to split huge CSV file?
我有一個 csv 文件,其中包含 40k 行和 1 列,因為所有數據都用分號分隔。
insert_date;currency_from;currency_to;currency_value
0 2017-01-02 00:00:00.000;EUR;TL;3.7073
1 2017-01-02 00:00:00.000;USD;TL;3.5445
2 2017-01-02 00:00:00.000;GBP;TL;4.3510
3 2017-01-02 00:00:00.000;BTC;USD;0.0000
4 2017-01-02 00:00:00.000;EUR;USD;1.0459
這就是我的數據 pandas dataframe 的樣子。我想用分號分隔以形成單獨的列。
在 pandas 中,這是根據文檔使用sep
參數完成的:
import pandas as pd
df = pd.read_csv('/path/to/file.csv', sep=';')
你是說你想要一份字典列表嗎?
import csv
with open('your/path/to/your/file.csv') as f:
data = [i for i in csv.DictReader(f, delimiter=';')
process_your_data()
嘗試使用 str.spilt()
語法:Series.str.split(pat=None, n=-1, expand=False) 參數:
pat:字符串值、分隔符或定界符,用於分隔字符串。 n:在單個字符串中進行的最大分隔數,默認為 -1,表示全部。 expand: Boolean 值,如果為真,則返回不同列中具有不同值的數據框。 否則它返回一個帶有字符串列表的系列。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.