![](/img/trans.png)
[英]Split large DataFrame into Dataframes containing records of unique values in a column
[英]Split dataframe column containing iterable
我有一個DataFrame,其中的一列包含以列表或元組(始終相同的長度)形式的一些順序數據,我的目的是將該列拆分為幾個新列,理想情況下更新一個現有列。
這是最小的例子
from pandas import DataFrame, concat
data = DataFrame({"label": [a for a in "abcde"], "x": range(5)})
print(data)
label x
0 a 0
1 b 1
2 c 2
3 d 3
4 e 4
使用不存在的函數splittuple的虛構方式將是這樣的
data[["x", "x2"]] = data["x"].apply(lambda x: (x, x*2)).splittuple(expand = True)
導致
label x x2
0 a 0 0
1 b 1 2
2 c 2 4
3 d 3 6
4 e 4 8
我當然可以這樣做,盡管解決方案有點麻煩
newdata = DataFrame(data["x"].apply(lambda x: (x, x*2)).tolist(), columns = ["x", "x2"])
data.drop("x", axis = 1, inplace = True)
data = concat((data, newdata), axis = 1)
print(data)
label x x2
0 a 0 0
1 b 1 2
2 c 2 4
3 d 3 6
4 e 4 8
替代方案更加丑陋
data[["x", "x2"]] =
data["x"].apply(lambda x: "{} {}".format(x, x*2)).str.split(expand = True).astype(int)
您能否建議更優雅的方式來進行此類轉換?
apply
和Series
是可能的,但不是那么快:
tup = data["x"].apply(lambda x: (x, x*2))
data[["x", "x2"]] = tup.apply(pd.Series)
print (data)
label x x2
0 a 0 0
1 b 1 2
2 c 2 4
3 d 3 6
4 e 4 8
使用DataFrame
構造函數更快:
tup = data["x"].apply(lambda x: (x, x*2))
data[["x", "x2"]] = pd.DataFrame(tup.values.tolist())
print (data)
label x x2
0 a 0 0
1 b 1 2
2 c 2 4
3 d 3 6
4 e 4 8
時間 :
data = pd.DataFrame({"label": [a for a in "abcde"], "x": range(5)})
data = pd.concat([data]*1000).reset_index(drop=True)
tup = data["x"].apply(lambda x: (x, x*2))
data[["x", "x2"]] = tup.apply(pd.Series)
data[["y", "y2"]] = pd.DataFrame(tup.values.tolist())
print (data)
In [266]: %timeit data[["x", "x2"]] = tup.apply(pd.Series)
1 loop, best of 3: 836 ms per loop
In [267]: %timeit data[["y", "y2"]] = pd.DataFrame(tup.values.tolist())
100 loops, best of 3: 3.1 ms per loop
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.