[英]How to add pandas data to an existing csv file in Google Cloud Storage?
[英]How to add pandas data to an existing csv file?
我想知道是否可以使用 pandas to_csv()
函數將數據幀添加到現有的 csv 文件中。 csv 文件與加載的數據具有相同的結構。
您可以在 pandas to_csv
函數中指定 python 寫入模式。 對於附加,它是“a”。
在你的情況下:
df.to_csv('my_csv.csv', mode='a', header=False)
默認模式是“w”。
您可以通過以追加模式打開文件來追加到 csv:
with open('my_csv.csv', 'a') as f:
df.to_csv(f, header=False)
如果這是您的 csv, foo.csv
:
,A,B,C
0,1,2,3
1,4,5,6
如果您閱讀了該內容然后附加,例如, df + 6
:
In [1]: df = pd.read_csv('foo.csv', index_col=0)
In [2]: df
Out[2]:
A B C
0 1 2 3
1 4 5 6
In [3]: df + 6
Out[3]:
A B C
0 7 8 9
1 10 11 12
In [4]: with open('foo.csv', 'a') as f:
(df + 6).to_csv(f, header=False)
foo.csv
變為:
,A,B,C
0,1,2,3
1,4,5,6
0,7,8,9
1,10,11,12
with open(filename, 'a') as f:
df.to_csv(f, header=f.tell()==0)
我使用一個小輔助函數和一些標題檢查保護措施來處理這一切:
def appendDFToCSV_void(df, csvFilePath, sep=","):
import os
if not os.path.isfile(csvFilePath):
df.to_csv(csvFilePath, mode='a', index=False, sep=sep)
elif len(df.columns) != len(pd.read_csv(csvFilePath, nrows=1, sep=sep).columns):
raise Exception("Columns do not match!! Dataframe has " + str(len(df.columns)) + " columns. CSV file has " + str(len(pd.read_csv(csvFilePath, nrows=1, sep=sep).columns)) + " columns.")
elif not (df.columns == pd.read_csv(csvFilePath, nrows=1, sep=sep).columns).all():
raise Exception("Columns and column order of dataframe and csv file do not match!!")
else:
df.to_csv(csvFilePath, mode='a', index=False, sep=sep, header=False)
最初從 pyspark 數據幀開始 - 鑒於我的 pyspark 數據幀中的架構/列類型,我遇到了類型轉換錯誤(當轉換為 Pandas df 然后附加到 csv 時)
通過強制每個 df 中的所有列都是字符串類型,然后將其附加到 csv 解決了這個問題,如下所示:
with open('testAppend.csv', 'a') as f:
df2.toPandas().astype(str).to_csv(f, header=False)
參加聚會有點晚了,但如果您多次打開和關閉文件,或者記錄數據、統計信息等,您也可以使用上下文管理器。
from contextlib import contextmanager
import pandas as pd
@contextmanager
def open_file(path, mode):
file_to=open(path,mode)
yield file_to
file_to.close()
##later
saved_df=pd.DataFrame(data)
with open_file('yourcsv.csv','r') as infile:
saved_df.to_csv('yourcsv.csv',mode='a',header=False)`
這就是我在 2021 年做到的
假設我有一個 csv sales.csv
,其中包含以下數據:
銷售.csv :
Order Name,Price,Qty
oil,200,2
butter,180,10
並添加更多行,我可以將它們加載到數據框中並將其附加到 csv 中,如下所示:
import pandas
data = [
['matchstick', '60', '11'],
['cookies', '10', '120']
]
dataframe = pandas.DataFrame(data)
dataframe.to_csv("sales.csv", index=False, mode='a', header=False)
輸出將是:
Order Name,Price,Qty
oil,200,2
butter,180,10
matchstick,60,11
cookies,10,120
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.