合并2个带有一个唯一列但标题不同的csv文件[重复]

Question

这个问题已经在这里有了答案：

• 使用Python 2答案 合并两个CSV文件

我想使用某种脚本语言（如bash脚本或python）合并2个csv文件。

1st.csv（此数据来自mysql查询）

member_id，姓名，电子邮件，递减
03141，EJ，EJ @ domain.com，酷
00002，JES，JES @ domain.com，好
00002，charmie，魅力@ domain.com，甜

2nd.csv（来自mongodb查询）

ID，地址，CREATE_DATE
00002，someCity，20150825
00003，newCity，20140102
11111，，20150808

这些示例不是实际的，尽管我知道qsl的一些member_id和mongodb的ID是相同的。 （*并且我希望我的输出是这样的）

desiredoutput.csv

meber_id，姓名，电子邮件，递减，地址，CREATE_DATE
03141，EJ，EJ @ domain.com，冷静,,
00002，JES，JES @ domain.com，好，someCity，20150825
00002，charmie，魅力@ domain.com，甜，
11111 ,,,, 20150808

帮助将不胜感激。 提前致谢

#########################################################################

#!/usr/bin/python
import csv
import itertools as IT

filenames = ['1st.csv', '2nd.csv']
handles = [open(filename, 'rb') for filename in filenames]
readers = [csv.reader(f, delimiter=',') for f in handles]

with  open('desiredoutput.csv', 'wb') as h:
    writer = csv.writer(h, delimiter=',', lineterminator='\n', )
    for rows in IT.izip_longest(*readers, fillvalue=['']*2):
        combined_row = []
        for row in rows:
            row = row[:1] # column where 1 know there are identical data
            if len(row) == 1:
                combined_row.extend(row)
            else:
                combined_row.extend(['']*1)
        writer.writerow(combined_row)

for f in handles:
    f.close()

#########################################################################

刚在这个网站上也阅读并尝试过此代码（操作）

Answer 1

由于您尚未发布尝试，因此，我将为您提供一个一般性的答案（使用Python），以帮助您入门。

• 创建一个dict ， d
• 遍历第一个文件的所有行，将每一行转换为一个列表，并使用meber_id作为键并将列表作为值存储在d 。
• 遍历第二个文件的所有行，将每一行转换为一个列表，其中不包含id列，如果d[id]存在，则用新列表更新d[id]下的列表，否则将新列表存储在d[id] 。
• 最后，遍历d的值，并以逗号分隔将它们打印到文件中。

编辑

在尝试中，您尝试使用izip_longest来同时遍历两个文件的行。 但这仅在两个文件中的行数相等且顺序相同时才有效。

无论如何，这是一种方法。

注意：这使用的是Python 3.4+ csv模块。 对于2.7，它可能看起来有些不同。

import csv

d = {}

with open("file1.csv", newline="") as f:
  for row in csv.reader(f):
    d.setdefault(row[0], []).append(row + [""] * 3)

with open("file2.csv", newline="") as f:
  for row in csv.reader(f):
    old_row = d.setdefault(row[0][0], [row[0], "", "", ""])
    old_row[4:] = row[1:]

with open("out.csv", "w", newline="") as f:
  writer = csv.writer(f)
  for rows in d.values():
    writer.writerows(rows)

Answer 2

这是我从这个答案中得到的熊猫和关于合并的熊猫文档的建议。

import pandas as pd
first = pd.read_csv('1st.csv')
second = pd.read_csv('2nd.csv')
merged = pd.concat([first, second], axis=1)

这将输出：

meber_id  name     email            desc    id      address     create_date
3141      ej       ej@domain.com    cool    2       someCity    20150825
2         jes      jes@domain.com   good    11      newCity     20140102
11        charmie  charm@domain.com sweet   11111   NaN         20150808