将严重嵌套的 json 文件转换为 R/Python dataframe

Question

我在 stackoverflow 上发现了很多类似的问题，但是，我仍然没有解决一个问题。 我有一个嵌套很深的“.json”文件，我需要将其导入并转换为 R 或 Python data.frame才能使用。 Json 文件包含内部列表（通常为空但有时包含数据）。 json的结构示例：

我使用R的库jsonlite和Python的pandas 。

# R
jsonlite::fromJSON(json_file, flatten = TRUE)
# or
jsonlite::read_json(json_file, simplifyVector = T)

# Python
with open(json_file.json, encoding = "utf-8") as f:
   data = json.load(f)

pd.json_normalize(data)

通常，在这两种情况下它都有效。 output 看起来像一个普通的 data.frame，但是，问题是新 data.frame 的某些列包含嵌入列表（我不确定“嵌入列表”是否正确和清晰）。 似乎Pandas和jsonlite都将每个列表组合成单个列，这在下面的屏幕中可以清楚地看到。

R

Python

正如您可能看到的一些列，例如wymagania.wymaganiaKonieczne.wyksztalcenia只是一个包含组合/嵌入列表的向量，即列表的内容已组合到单个列中。

作为所需的 output我想将此类列表的每个元素拆分为 data.frame 的单个列。 换句话说，我想获得没有任何嵌套的 data.frames 和列表的正常“整洁感”data.frame。 感谢 R 和 Python 代码。

最小可重现示例：

[
{
"warunkiPracyIPlacy":{"miejscePracy":"abc","rodzajObowiazkow":"abc","zakresObowiazkow":"abc","rodzajZatrudnienia":"abc","kodRodzajuZatrudnienia":"abc","zmianowosc":"abc"},
"wymagania":{
    "wymaganiaKonieczne":{
        "zawody":[],
        "wyksztalcenia":["abc"],
        "wyksztalceniaSzczegoly":[{"kodPoziomuWyksztalcenia":"RPs002|WY","kodTypuWyksztalcenia":"abc"}],
        "jezyki":[],
        "jezykiSzczegoly":[],
        "uprawnienia":[]},
    "wymaganiaPozadane":{
        "zawody":[],
        "zawodySzczegoly":[],
        "staze":[]},
    "wymaganiaDodatkowe":{"zawody":[],"zawodySzczegoly":[]},
    "inneWymagania":"abc"
    },
"danePracodawcy":{"pracodawca":"abc","nip":"abc","regon":"abc","branza":null},
"pozostaleDane":{"identyfikatorOferty":"abc","ofertaZgloszonaPrzez":"abc","ofertaZgloszonaPrzezKodJednostki":"abc"},
"typOferty":"abc",
"typOfertyNaglowek":"abc",
"rodzajOferty":["DLA_ZAREJESTROWANYCH"],"staz":false,"link":false}
]

Answer 1

这是 Python 的答案。它不是很优雅，但我认为它可以满足您的目的。

我已将您的示例文件命名为nested_json.json

import json
import pandas as pd

json_file = "nested_json.json"
with open(json_file, encoding="utf-8") as f:
   data = json.load(f)

df = pd.json_normalize(data)

df_exploded = df.apply(lambda x: x.explode()).reset_index(drop=True)

# check based on first row whether its of type dict
columns_dict = df_exploded.columns[df_exploded.apply(lambda x: isinstance(x[0], dict))]

# append the splitted dict to the dataframe 
for col in columns_dict:
   df_splitted_dict = df_exploded[col].apply(pd.Series)
   df_exploded = pd.concat([df_exploded, df_splitted_dict], axis=1)

这导致一个矩形 dataframe

>>> df_exploded.T
                                                                                             0
typOferty                                                                                         abc
typOfertyNaglowek                                                                                 abc
rodzajOferty                                                                     DLA_ZAREJESTROWANYCH
staz                                                                                            False
link                                                                                            False
warunkiPracyIPlacy.miejscePracy                                                                   abc
warunkiPracyIPlacy.rodzajObowiazkow                                                               abc
warunkiPracyIPlacy.zakresObowiazkow                                                               abc
warunkiPracyIPlacy.rodzajZatrudnienia                                                             abc
warunkiPracyIPlacy.kodRodzajuZatrudnienia                                                         abc
warunkiPracyIPlacy.zmianowosc                                                                     abc
wymagania.wymaganiaKonieczne.zawody                                                               NaN
wymagania.wymaganiaKonieczne.wyksztalcenia                                                        abc
wymagania.wymaganiaKonieczne.wyksztalceniaSzcze...  {'kodPoziomuWyksztalcenia': 'RPs002|WY', 'kodT...
wymagania.wymaganiaKonieczne.jezyki                                                               NaN
wymagania.wymaganiaKonieczne.jezykiSzczegoly                                                      NaN
wymagania.wymaganiaKonieczne.uprawnienia                                                          NaN
wymagania.wymaganiaPozadane.zawody                                                                NaN
wymagania.wymaganiaPozadane.zawodySzczegoly                                                       NaN
wymagania.wymaganiaPozadane.staze                                                                 NaN
wymagania.wymaganiaDodatkowe.zawody                                                               NaN
wymagania.wymaganiaDodatkowe.zawodySzczegoly                                                      NaN
wymagania.inneWymagania                                                                           abc
danePracodawcy.pracodawca                                                                         abc
danePracodawcy.nip                                                                                abc
danePracodawcy.regon                                                                              abc
danePracodawcy.branza                                                                            None
pozostaleDane.identyfikatorOferty                                                                 abc
pozostaleDane.ofertaZgloszonaPrzez                                                                abc
pozostaleDane.ofertaZgloszonaPrzezKodJednostki                                                    abc
kodPoziomuWyksztalcenia                                                                     RPs002|WY
kodTypuWyksztalcenia                                                                              abc