從 Pandas Dataframe 中的 json 對象列中刪除重復值？

Question

我正在嘗試刪除 previous_location 列中的重復項，該列當前是 json object。 我想將該行保留為 json object。

初始化列表列表

data = [['tom', 20, [{"location":"USA", "State":"CA"}, {"location":"USA", "State":"CA"}, {"location":"USA", "State":"TX"}]], 
        ['nick', 35, [{"location":"USA", "State":"PA"}, {"location":"USA", "State":"PA"}, {"location":"USA", "State":"ME"}]], 
        ['julie', 29, [{"location":"USA", "State":"WA"}, {"location":"USA", "State":"WA"}, {"location":"USA", "State":"HI"}]]]

創建 pandas DataFrame

df = pd.DataFrame(data, columns=['name', 'age', 'previous_location'])

打印 dataframe。

print(df)

姓名	年齡	上一個位置
湯姆	20	[{“州”：“CA”，“位置”：“美國”}，{“州”：“CA”，“位置”：“美國”}，{“州”：“TX”，“位置”： “美國”}]
缺口	35	[{“州”：“PA”，“位置”：“美國”}，{“州”：“PA”，“位置”：“美國”}，{“州”：“ME”，“位置”： “美國”}]
朱麗葉	29	[{“州”：“WA”，“位置”：“美國”}，{“州”：“WA”，“位置”：“美國”}，{“州”：“HI”，“位置”： “美國”}]

預計 output

姓名	年齡	上一個位置
湯姆	20	[{“州”：“CA”，“位置”：“美國”}，{“州”：“TX”，“位置”：“美國”}]
缺口	35	[{“州”：“PA”，“位置”：“美國”}，{“州”：“ME”，“位置”：“美國”}]
朱麗葉	29	[{“州”：“WA”，“位置”：“美國”}，{“州”：“HI”，“位置”：“美國”}]

Answer 1

嘗試：

df["previous_location"] = df["previous_location"].apply(
    lambda x: [dict(d) for d in set(tuple(sorted(d.items())) for d in x)]
)

print(df)

印刷：

    name  age                                                         previous_location
0    tom   20  [{'State': 'CA', 'location': 'USA'}, {'State': 'TX', 'location': 'USA'}]
1   nick   35  [{'State': 'ME', 'location': 'USA'}, {'State': 'PA', 'location': 'USA'}]
2  julie   29  [{'State': 'WA', 'location': 'USA'}, {'State': 'HI', 'location': 'USA'}]

---

編輯：

def fn(x):
    out, seen = [], set()
    for dct in x:
        t = tuple(sorted(dct.items()))
        if t not in seen:
            out.append(dct)
            seen.add(t)
    return out


df["previous_location"] = df["previous_location"].apply(fn)

print(df)

印刷：

    name  age                                                         previous_location
0    tom   20  [{'location': 'USA', 'State': 'CA'}, {'location': 'USA', 'State': 'TX'}]
1   nick   35  [{'location': 'USA', 'State': 'PA'}, {'location': 'USA', 'State': 'ME'}]
2  julie   29  [{'location': 'USA', 'State': 'WA'}, {'location': 'USA', 'State': 'HI'}]