Python：使用基于嵌套列表中的唯一值的列创建pandas数据帧

Question

我有一个包含每个样本的不同区域的嵌套列表。 我想创建一个数据帧，使每行（样本）都存在或不存在相应的区域（列）。 例如，数据可能如下所示：

region_list = [['North America'], ['North America', 'South America'], ['Asia'], ['North America', 'Asia', 'Australia']]

结束数据框看起来像这样：

North America    South America     Asia     Australia
1                0                 0        0
1                1                 0        0
0                0                 1        0
1                0                 1        1

我想我可能想出一种使用嵌套循环和附加的方法，但是有更多的pythonic方法来做到这一点吗？ 也许有numpy.where ？

Answer 1

pandas
str.get_dummies

pd.Series(region_list).str.join('|').str.get_dummies()

   Asia  Australia  North America  South America
0     0          0              1              0
1     0          0              1              1
2     1          0              0              0
3     1          1              1              0

numpy
np.bincount与pd.factorize

n = len(region_list)
i = np.arange(n).repeat([len(x) for x in region_list])
f, u = pd.factorize(np.concatenate(region_list))
m = u.size

pd.DataFrame(
    np.bincount(i * m + f, minlength=n * m).reshape(n, m),
    columns=u
)

   North America  South America  Asia  Australia
0              1              0     0          0
1              1              1     0          0
2              0              0     1          0
3              1              0     1          1

---

定时

%timeit pd.Series(region_list).str.join('|').str.get_dummies()
1000 loops, best of 3: 1.42 ms per loop

%%timeit
n = len(region_list)
i = np.arange(n).repeat([len(x) for x in region_list])
f, u = pd.factorize(np.concatenate(region_list))
m = u.size

pd.DataFrame(
    np.bincount(i * m + f, minlength=n * m).reshape(n, m),
    columns=u
)
1000 loops, best of 3: 204 µs per loop

Answer 2

我们试试吧：

df = pd.DataFrame(region_list)

df2 = df.stack().reset_index(name='region')

df_out = pd.get_dummies(df2.set_index('level_0')['region']).groupby(level=0).sum().rename_axis(None)

print(df_out)

输出：

         Asia  Australia  North America  South America                                               
0           0          0              1              0
1           0          0              1              1
2           1          0              0              0
3           1          1              1              0

Answer 3

这将完成这项工作！

import pandas as pd
import itertools
pd.get_dummies(pd.DataFrame(list(itertools.chain(*region_list)))

Output
       0_Asia  0_Australia  0_North America  0_South America
    0       0            0                1                0
    1       0            0                1                0
    2       0            0                0                1
    3       1            0                0                0
    4       0            0                1                0
    5       1            0                0                0
    6       0            1                0                0

Answer 4

您可以使用itertools模块中的chain.from_iterable和list comprehension ：

from itertools import chain

region_list = [['North America'], ['North America', 'South America'], ['Asia'], ['North America', 'Asia', 'Australia']]

regions = list(set(chain.from_iterable(region_list)))
vals = [[1 if j in k else 0 for j in regions] for k in region_list]
df = pd.DataFrame(vals, columns=regions)
print(df)

输出：

   Australia  Asia  North America  South America
0          0     0              1              0
1          0     0              1              1
2          0     1              0              0
3          1     1              1              0