"Python Pandas - 刪除重復項"

Question

我有一個用例，我讀取 2 個 csv 文件，然后根據列值刪除重復項。 我的代碼如下：

input_path = "data1.csv"
df_v1 = pd.read_csv(input_path)
print(len(df_v1))

input_path2 = "data2.csv"
df_v2 = pd.read_csv(input_path2)
print(len(df_v2))

result = df_v1.append(df_v2, ignore_index=True)
result.drop_duplicates(subset = ['Time'], keep = 'first', inplace = True)

result.to_csv('output.csv', encoding='utf-8', index=False)

Answer 1

試試這個：

res = pd.concat([df1, df2], ignore_index=True).drop_duplicates(subset = ['Time'], keep = 'first', inplace = True)

Answer 2

在沒有看到實際數據的情況下進行瘋狂猜測，但一種可能性是時間列在一些小值上有所不同。 下面的時間被轉換為一個以 1 秒四舍五入的時間戳：

result = df_v1.append(df_v2, ignore_index=True)
result['Time'] = pd.to_datetime(result['Time']).dt.round('1s')
result.drop_duplicates(subset = ['Time'], keep = 'first', inplace = True)