使用 python 过滤 Json 与包含在 csv 表中的 Id

Question

我有一个带有一些“id”的 csv 文件。 我导入了一个 json 文件，我需要从这个 Json 过滤只有工作表中的 id 有人知道该怎么做吗？ 我不知道，我是 python 的新手。 我正在使用 Jupyter 笔记本

如何过滤从变量 var_filter 获取的数据

import json
import pandas as pd
from IPython.display import display

# read csv with ids
var_filter = pd.read_csv('file.csv')
display(act_filter)


# Load json
with open('file.json') as f:
  data = json.load(f)
print(data)

json结构为：

[
    {
        "id": "179328741654819",
        "t_values": [
            {
                "t_id": "963852456741",
                "value": "499.66",
                "date_timestamp": "2020-09-22T15:18:17",
                "type": "in"
            },
            {
                "t_id": "852951753456",
                "value": "1386.78",
                "date_timestamp": "2020-10-31T14:46:44",
                "type": "in"
            }
        ]
    },
    {
        "id": "823971648264792",
        "t_values": [
            {
                "t_id": "753958561456",
                "value": "672.06",
                "date_timestamp": "2020-03-16T22:41:16",
                "type": "in"
            },
            {
                "t_id": "321147951753",
                "value": "773.88",
                "date_timestamp": "2020-05-08T18:29:31",
                "type": "out"
            },
            {
                "t_id": "258951753852",
                "value": "733.13",
                "date_timestamp": null,
                "type": "in"
            }
        ]
    }
]   

Answer 1

您可以遍历数据变量中的元素并检查其id值是否在数据框的id列中。 下面是简单的方法，其他方法见这篇文章

请注意，我将 JSON id的值转换为 int，因为这是 pandas 用作列的值类型

代码

import json
from pprint import pprint
import pandas as pd


var_filter = pd.read_csv("id.csv")

# Load json
with open("data.json") as f:
    data = json.load(f)


result = []
for elem in data:
    if int(elem["id"]) in var_filter["id"].values:
        result.append(elem)
pprint(result)

id.csv

id
823971648264792

output

[{'id': '823971648264792',
  't_values': [{'date_timestamp': '2020-03-16T22:41:16',
                't_id': '753958561456',
                'type': 'in',
                'value': '672.06'},
               {'date_timestamp': '2020-05-08T18:29:31',
                't_id': '321147951753',
                'type': 'out',
                'value': '773.88'},
               {'date_timestamp': None,
                't_id': '258951753852',
                'type': 'in',
                'value': '733.13'}]}]