[英]Pandas: create a dataframe from 2D numpy arrays preserving their sequential order
假设你有3个numpy数组: lat
, lon
, val
:
import numpy as np
lat=np.array([[10, 20, 30],
[20, 11, 33],
[21, 20, 10]])
lon=np.array([[100, 102, 103],
[105, 101, 102],
[100, 102, 103]])
val=np.array([[17, 2, 11],
[86, 84, 1],
[9, 5, 10]])
并且说你要创建一个pandas
数据df.columns = ['lat', 'lon', 'val']
,其中df.columns = ['lat', 'lon', 'val']
,但由于lat
每个值都与long
和val
数量相关联,所以你希望它们出现在同一行。
此外,您希望每列的按行顺序跟随每个数组中的位置,以便获取以下数据帧:
lat lon val
0 10 100 17
1 20 102 2
2 30 103 11
3 20 105 86
... ... ... ...
所以基本上数据帧中的第一行存储每个数组的“第一”数量,依此类推。 这该怎么做?
我无法找到这样做的pythonic方式,所以任何帮助都将非常感激。
我认为最简单的方法是使用ravel来平化数组:
df = pd.DataFrame({'lat': lat.ravel(), 'long': long.ravel(), 'val': val.ravel()})
print (df)
lat long val
0 10 100 17
1 20 102 2
2 30 103 11
3 20 105 86
4 11 101 84
5 33 102 1
6 21 100 9
7 20 102 5
8 10 103 10
像这样的东西 -
# Create stacked array
In [100]: arr = np.column_stack((lat.ravel(),long.ravel(),val.ravel()))
# Create dataframe from it and assign column names
In [101]: pd.DataFrame(arr,columns=('lat','long','val'))
Out[101]:
lat long val
0 10 100 17
1 20 102 2
2 30 103 11
3 20 105 86
4 11 101 84
5 33 102 1
6 21 100 9
7 20 102 5
8 10 103 10
运行时测试 -
In [103]: lat = np.random.rand(30,30)
In [104]: long = np.random.rand(30,30)
In [105]: val = np.random.rand(30,30)
In [106]: %timeit pd.DataFrame({'lat': lat.ravel(), 'long': long.ravel(), 'val': val.ravel()})
1000 loops, best of 3: 452 µs per loop
In [107]: arr = np.column_stack((lat.ravel(),long.ravel(),val.ravel()))
In [108]: %timeit np.column_stack((lat.ravel(),long.ravel(),val.ravel()))
100000 loops, best of 3: 12.4 µs per loop
In [109]: %timeit pd.DataFrame(arr,columns=('lat','long','val'))
1000 loops, best of 3: 217 µs per loop
不需要先拉扯。 你可以堆叠然后去。
lat, long, val = np.arange(5), np.arange(5), np.arange(5)
arr = np.stack((lat, long, val), axis=1)
cols = ['lat', 'long', 'val']
df = pd.DataFrame(arr, columns=cols)
lat long val
0 0 0 0
1 1 1 1
2 2 2 2
3 3 3 3
4 4 4 4
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.