如何将一个数据框中的列表列与另一数据框中的字符串列连接在一起？

Question

我有两个数据框。 第一个（称为A）称为列（称为col1），其元素为字符串列表。 另一个（称为B）称为列（称为“ col2”），其元素为字符串。 我想在B.col2在A.col1中的列表中的这两个数据帧之间进行联接。 这是一对多联接。

另外，我需要该解决方案具有可伸缩性，因为我想将两个数据帧与成千上万的行连接在一起。

我尝试串联A.col1中的值并创建一个新列（我们将其称为“ col3”）并加入以下条件：A.col3.contains（B.col2）。 但是，我的理解是，这种情况触发了两个数据框之间的笛卡尔积，考虑到数据框的大小，我无法承受。

def joinIds(IdList):
  return "__".join(IdList)
joinIds_udf = udf(joinIds)

pnr_corr = pnr_corr.withColumn('joinedIds', joinIds_udf(pnr_corr.pnrCorrelations.correlationPnrSchedule.scheduleIds)

pnr_corr_skd = pnr_corr.join(skd, pnr_corr.joinedIds.contains(skd.id), how='inner')

这是我想到的联接示例：

dataframe A:
listColumn
["a","b","c"]
["a","b"]
["d","e"]

dataframe B:
valueColumn
a
b
d

output:
listColumn      valueColumn
["a","b","c"]   a
["a","b","c"]   b
["a","b"]       a
["a","b"]       b
["d","e"]       d

Answer 1

我不知道是否有一种有效的方法来做到这一点，但这给出了正确的输出：

import pandas as pd
from itertools import chain

df1 = pd.Series([["a","b","c"],["a","b"],["d","e"]])
df2 = pd.Series(["a","b","d"])

result = [ [ [el2,list1] for el2 in df2.values if el2 in list1 ] 
                         for list1 in df1.values ]
result_flat = list(chain(*result))

result_df = pd.DataFrame(result_flat)

你得到：

In [26]: result_df
Out[26]:
   0          1
0  a  [a, b, c]
1  b  [a, b, c]
2  a     [a, b]
3  b     [a, b]
4  d     [d, e]

另一种方法是使用pandas> = 0.25中的新explode()方法并像这样合并：

import pandas as pd

df1 = pd.DataFrame({'col1': [["a","b","c"],["a","b"],["d","e"]]})
df2 = pd.DataFrame({'col2': ["a","b","d"]})

df1_flat = df1.col1.explode().reset_index()
df_merged = pd.merge(df1_flat,df2,left_on='col1',right_on='col2')

df_merged['col2'] = df1.loc[df_merged['index']].values
df_merged.drop('index',axis=1, inplace=True)

这给出了相同的结果：

  col1       col2
0    a  [a, b, c]
1    a     [a, b]
2    b  [a, b, c]
3    b     [a, b]
4    d     [d, e]

Answer 2

怎么样：

df['col1'] = [df['col1'].values[i] + [df['col2'].values[i]] for i in range(len(df))]

其中“ col1”是字符串列表，“ col2”是字符串。

如果您不再希望使用以下命令，也可以删除“ col2”：

df = df.drop('col2',axis=1)