具有熊猫排列的多个嵌套列表

Question

我在 python 中有我的第一个严肃问题。

我有一些嵌套列表需要转换为 Pandas DataFrame。 看起来很简单，但对我来说是什么让它具有挑战性： - 列表很大（所以代码需要很快） - 它们是嵌套的 - 当它们被嵌套时，我需要组合。

所以有这个输入：

la =  ['a', 'b', 'c', 'd', 'e']
lb = [[1], [2], [3, 33], [11,12,13], [4]]
lc = [[1], [2, 22], [3], [11,12,13], [4]]

我需要以下作为输出

la      lb      lc
a       1       1
b       2       2
b       2       22
c       3       3
c       33      3
d       11      11
d       11      12
d       11      13
d       12      11
d       12      12
d       12      13
d       13      11
d       13      12
d       13      13
e       4       4

请注意，每当我有嵌套列表时，我都需要所有排列。 起初我只是简单地尝试：

import pandas as pd
pd.DataFrame({'la' : [x for x in la],
              'lb' : [x for x in lb],
              'lc' : [x for x in lc]})

但是寻找需要扩展和实际扩展（一个巨大的）DataFrame 的行似乎比修改我创建 DataFrame 的方式更难。

我看了一些关于 itertools（ 在 Python 中展平一个浅表）、文档（ https://docs.python.org/3.6/library/itertools.html ）和生成器（ “yield”关键字有什么作用？ ），并想出了这样的事情：

import itertools

def f(la, lb, lc):
    tmp = len(la) == len(lb) == len(lc)
    if tmp:
        for item in range(len(la)):
            len_b = len(lb[item])
            len_c = len(lc[item])
            if ((len_b>1) or (len_c>1)):
                yield list(itertools.product(la[item], lb[item], lc[item]))
                ## above: list is not the result I need,
                ##        without it it breaks (not an iterable)
            else:
                yield (la[item], lb[item], lc[item])
    else:
        print('error: unequal length')

我测试的

my_gen =f(lit1, lit2, lit3)
pd.DataFrame.from_records(my_gen)

这......好吧......当我yield itertools （它没有长度）时会中断，并在我将itertools转换为可迭代后创建错误的数据结构。

我的问题如下：

• 如何使用yield ing itertools解决该问题？
• 这有效率吗？ 在实际应用中，我将通过解析文件来创建列表，它们将是巨大的......任何性能提示或来自更高级同事的更好解决方案？ 是的，它不会中断/行为不端，所以我什至无法进行基准测试...
• 逐个元素生成列表然后使用我的f函数有意义吗？

先感谢您！

Answer 1

我有一个解决方案：

import pandas as pd
from itertools import product

la =  ['a', 'b', 'c', 'd', 'e']
lb = [[1], [2], [3, 33], [11,12,13], [4]]
lc = [[1], [2, 22], [3], [11,12,13], [4]]

list_product = reduce(lambda x, y: x + y, [list(product(*_)) for _ in zip(la,lb,lc)])
df = pd.DataFrame(list_product, columns=["la", "lb", "lc"])
print(df)

结果：

    la  lb  lc
0   a   1   1
1   b   2   2
2   b   2   22
3   c   3   3
4   c   33  3
5   d   11  11
6   d   11  12
7   d   11  13
8   d   12  11
9   d   12  12
10  d   12  13
11  d   13  11
12  d   13  12
13  d   13  13
14  e   4   4

Answer 2

这不是一个抽象的解决方案，但它确实得到了您正在寻找的结果。 我期待看到一个更以熊猫为中心的答案来解决这个问题，但同时提供这个答案。

import pandas as pd
la =  ['a', 'b', 'c', 'd', 'e']
lb = [[1], [2], [3, 33], [11,12,13], [4]]
lc = [[1], [2, 22], [3], [11,12,13], [4]]

l1 = []
l2 = []
l3 = []

l1Temp = []
l2Temp = []
l3Temp = []

for i, listInt in enumerate(lb):
    if type(listInt == list):
        for j, item in enumerate(listInt):
            # print('%s - %s' % (lb[i], lc[i][j]))
            l1Temp.append(la[i])
            l2Temp.append(lb[i][j])
            l3Temp.append(lc[i])
            # print('%s - %s' % (l1[i], l2[i]))
    else:
        l1Temp.append(la[i])
        l2Temp.append(lb[i])
        l3Temp.append(lc[i])
        # print('%s - %s' % (lb[i], lc[i]))

for i, listInt in enumerate(l3Temp):
    if type(listInt == list):
        for j, item in enumerate(listInt):
            l1.append(l1Temp[i])
            l2.append(l2Temp[i])
            l3.append(l3Temp[i][j])
    else:
        l1.append(l1Temp[i])
        l2.append(l2Temp[i])
        l3.append(l3Temp[i])

for i, item in enumerate(l3):
    print('%s - %s - %s' % (l1[i], l2[i], l3[i]))

df = pd.DataFrame({'la':[x for x in l1],
    'lb':[x for x in l2],
    'lc': [x for x in l3]})
print(df)