如何使用矢量化操作从 pandas dataframe 创建特定的嵌套格式 JSON 或字典？

Question

我正在尝试拨打 API 电话。 对于这个特定的 API，JSON 文件中的一个键需要在其中包含一个嵌套字典。

这是 dataframe 格式的输入数据：

ID        Date        Total_Transactions   Amount    Account_Name__c
1234567   2022-12-21  1                    235.00    a1234567
2345678   2022-13-21  2                    300.50    a2345678

最终结果需要看起来像这样，在嵌套字典之外有一个键“Account_Name__r”：

[{'ID': '1234567',
  'Date': '2022-12-21',
  'Total_Transactions': 1,
  'Amount': 235.00,
  'Account_Name__r': {'Account_Name__c':'a1234567'}},
{'ID': '2345678',
  'Date': '2022-13-21',
  'Total_Transactions': 2,
  'Amount': 300.50,
  'Account_Name__r': {'Account_Name__c':'a2345678'}}]

数据来自数据框。 我可以获得正常的数据框以正确导出，但嵌套有问题。 这是当我将正常的 dataframe 作为正常的 json 执行时的样子：

代码：

final.to_json(orient='records')

output：

[{'ID': '1234567',
  'Date': '2022-12-21',
  'Total_Transactions': 1,
  'Amount': 235.00,
  'Account_Name__c':'a1234567'},
{'ID': '2345678',
  'Date': '2022-13-21',
  'Total_Transactions': 2,
  'Amount': 300.50,
  'Account_Name__c':'a2345678'}]

有什么想法我需要如何构建我的 dataframe 以及我需要使用哪些转换/函数来获得我在顶部的嵌套结构？ 我希望通过在 pandas 中执行矢量化操作并在 pandas 中使用 df.to_json() 方法来实现这一点。

我不是在寻找 for 循环解决方案，这很简单，但实际上并不能帮助我学习如何从 pandas dataframe 创建不同类型的复杂结构 JSON 并且在我的情况下对于我将使用的大型数据集不可扩展。

Answer 1

试试这个：

data=[{'ID': '1234567',
  'Date': '2022-12-21',
  'Total_Transactions': 1,
  'Amount': 235.00,
  'Account_Name__c':'a1234567'},
{'ID': '2345678',
  'Date': '2022-13-21',
  'Total_Transactions': 2,
  'Amount': 300.50,
  'Account_Name__c':'a2345678'}]

df=pd.DataFrame(data)


df["Account_Name__r"]=df["Account_Name__c"].apply(lambda x: {"Account_Name__c":x})

df.drop(columns=["Account_Name__c"],inplace=True)

print(df.to_json(orient='records'))

Answer 2

尝试：

out = df.to_dict(orient="records")

for d in out:
    d["ID"] = str(d["ID"])
    d["Account_Name__r"] = {"Account_Name__c": d.pop("Account_Name__c")}

print(out)

印刷：

[
    {
        "ID": "1234567",
        "Date": "2022-12-21",
        "Total_Transactions": 1,
        "Amount": 235.0,
        "Account_Name__r": {"Account_Name__c": "a1234567"},
    },
    {
        "ID": "2345678",
        "Date": "2022-13-21",
        "Total_Transactions": 2,
        "Amount": 300.5,
        "Account_Name__r": {"Account_Name__c": "a2345678"},
    },
]

Answer 3

我通过将其分解为一个较小的问题来解决，从而找到了答案。 我在这里发布了问题： 有没有一种方法可以使用向量化操作在 dataframe 列的每一行上存储字典？

用户 Panda Kim 因解决最初的问题而获得荣誉： https://stackoverflow.com/users/20430449/panda-kim

这是使用 Panda Kim 使用的答案以及我拼凑的所需的最后一步的解决方案。

首先，我们命名一个新列，以我们稍后将在包装字典之外使用的键命名，我们将通过转置列名 'Account_Name__c' 和它使用 .T 方法的对应值来获取该列的值，并且使用 to_dict() 将其设置为字典

final_insert['Account_Name__r'] = pd.Series(final_insert[['Account_Name__c']].T.to_dict())

结果：

ID      Date       Total_Transactions Account_Name__r
1234567 2022-12-21 1                  {'Account_Name__c':'a1234567'}

最后，我们然后使用 .to_dict() 或 .to_json() 将整个 dataframe 转换为字典或 json

final_insert = final_insert.to_dict(orient='records')

结果：

[{'ID': '1234567',
  'Date': '2022-12-21',
  'Total_Transactions': 1,
  'Amount': 235.00,
  'Account_Name__r': {'Account_Name__c':'a1234567'}}]