Python在多列和最近的日期時間上合並兩個csv文件

Question

我有兩個要合並的csv文件。

文件1：

rel_id, acc_id, value, timestamp
1, 2, True, 2016-01-04 19:20:22
2, 3, True, 2016-01-04 18:35:56
1, 2, True, 2016-01-04 20:43:12
1, 5, False, 2016-01-04 18:15:20
2, 3, True, 2016-01-04 20:43:11

文件2：

rel_id, acc_id, value, timestamp
1, 2, 250, 2016-01-04 20:43:13
1, 5, 610, 2016-01-04 18:15:23
2, 3, 400, 2016-01-04 18:35:58
2, 3, 300, 2016-01-04 20:43:13
1, 2, 500, 2016-01-04 19:20:23

我想基於rel_id，acc_id和timestamp合並兩個文件。

合並（文件1和文件2）：

rel_id, acc_id, value_file1, timestamp, value_file2
1, 2, True, 2016-01-04 19:20:22, 500
2, 3, True, 2016-01-04 18:35:56, 400
1, 2, True, 2016-01-04 20:43:12, 250
1, 5, False, 2016-01-04 18:15:20, 610
2, 3, True, 2016-01-04 20:43:11, 300

但是，file2的時間戳在時間上稍晚一些。

在stackoverflow上搜索將我引到這篇文章： pandas按最接近的時間合並數據幀

但是我不知道如何在最接近的rel_id，acc_id和timestamp上進行匹配。

import pandas as pd


file1 = pd.read_csv('file1.csv')
file2 = pd.read_csv('file2.csv')


file1.columns = ['rel_id', 'acc_id', 'value', 'timestamp']
file2.columns = ['rel_id', 'acc_id', 'value', 'timestamp']


file1['timestamp'] = pd.to_datetime(file1['timestamp'])
file2['timestamp'] = pd.to_datetime(file2['timestamp'])


file1_dt = pd.Series(file1["timestamp"].values, file1["timestamp"])
file1_dt.reindex(file2["timestamp"], method="nearest")
file2["nearest"] = file1_dt.reindex(file2["timestamp"],    method="nearest").values

print file2

我根據另一篇文章嘗試了上面的代碼，但是在rel_id和acc_id上還不匹配。 加上上面的代碼已經引發了錯誤：

ValueError：索引必須是單調遞增或遞減

高度重視任何幫助。 謝謝。

Answer 1

您正在嘗試根據未排序的索引重新建立索引。 假設您的CSV沒有標題：

column_names = ['rel_id', 'acc_id', 'value', 'timestamp']
file1 = pd.read_csv('file1.csv',
                    index_col=['timestamp'],
                    parse_dates='timestamp',
                    header=None,
                    names=column_names).sort_index()
file2 = pd.read_csv('file2.csv',
                    index_col=['timestamp'],
                    parse_dates='timestamp',
                    header=None,
                    names=column_names).sort_index()
file1.set_index(file1.reindex(file2.index, method='nearest').index, inplace=True)



                     rel_id  acc_id  value
timestamp
2016-01-04 18:15:23       1       5  False
2016-01-04 18:35:58       2       3   True
2016-01-04 19:20:23       1       2   True
2016-01-04 20:43:13       2       3   True
2016-01-04 20:43:13       1       2   True

並合並file1和file2：

file1.reset_index().merge(file2.reset_index(), on=['acc_id', 'rel_id', 'timestamp']).set_index('timestamp')