Pandas：如何根據每行包含 json 的列值創建新的 dataframe？

Question

我有一個像這樣的 dataframe：

artid  link     ner_label
1      url1     "{('blanqui', 'Person'): 6, ('walter benjamin', 'Person'): 2}"
2      url2     "{('john', 'Person'): 8, ('steven', 'Person'): 3}"

ner_label 每一行的類型都是字符串。 我想要這個：

artid   link     ner                label      score
    1   url1     'blanqui'         'Person'     6
    1   url1     'walter benjamin' 'Person'     2
    2   url2     'john'            'Person'     8
    2   url2     'steven'          'Person'     3   

我怎樣才能做到這一點？ 我真的不知道該怎么做。

Answer 1

不是最有效的方法，但它會為您完成工作

from ast import literal_eval

df['ner'] = df['ner_label'].apply(lambda x: list(literal_eval(x).keys()))
df['score'] = df['ner_label'].apply(lambda x: list(literal_eval(x).values()))

df = df.set_index(['artid', 'link', 'ner_label']).apply(pd.Series.explode).reset_index()

df['label'] = [i[1] for i in df['ner']]
df['ner'] = [i[0] for i in df['ner']]
df.drop(['ner_label'], axis=1, inplace=True)

Output：

  artid     link    ner             score   label
0   1      url1     blanqui            6    Person
1   1      url1     walter benjamin    2    Person
2   2      url2     john               8    Person
3   2      url2     steven             3    Person

Answer 2

這是只有 pandas 的解決方案

df = df.assign(ner_label=df['ner_label'].str.split(', \(')).explode('ner_label')
df['ner_label']= df['ner_label'].str.replace('(','').str.replace('\)','').\
str.replace('\{','').str.replace('\}','').str.replace('\"','')

df[['ner','score']] = df.ner_label.str.split(':', expand=True)

df[['ner','label']] = df.ner.str.split(',', expand=True)

df.drop(columns='ner_label', inplace=True)

Output：

    artid   link    ner score   label
0   1   url1    'blanqui'   6   'Person'
0   1   url1    'walter benjamin'   2   'Person'
1   2   url2    'john'  8   'Person'
1   2   url2    'steven'    3   'Person'