[英]Building a small numpy array from individual values: Fast and readable method?
我發現程序中的瓶頸是從給定值列表中創建numpy數組,最常見的是將4個值放入2x2數組中。 有一種明顯的,易於閱讀的方法:
my_array = numpy.array([[1, 3], [2.4, -1]])
這需要15美元 - 非常非常慢,因為我做了數百萬次。
然后有一個更快,難以閱讀的方式:
my_array = numpy.empty((2,2))
my_array[0,0] = 1
my_array[0,1] = 3
my_array[1,0] = 2.4
my_array[1,1] = -1
這快10倍,僅1 us。
有沒有什么方法快速且易於閱讀?
到目前為止我嘗試過:使用asarray
代替array
沒有任何區別; 將dtype=float
傳遞給array
也沒什么區別。 最后,我明白我可以自己做:
def make_array_from_list(the_list, num_rows, num_cols):
the_array = np.empty((num_rows, num_cols))
for i in range(num_rows):
for j in range(num_cols):
the_array[i,j] = the_list[i][j]
return the_array
這將在4us中創建數組,中速可讀性(與上述兩種方法相比)。 但實際上,我無法相信使用內置方法沒有更好的方法。
先感謝您!!
這是一個很好的問題。 我找不到任何能夠接近你完全展開的解決方案的速度的東西( 編輯 @BiRico能夠提出一些接近的東西。請參閱評論和更新 :)。 以下是我(和其他人)提出的一系列不同選項以及相關的時間:
import numpy as np
def f1():
"np.array + nested lists"
my_array = np.array([[1, 3], [2.4, -1]])
def f2():
"np.array + nested tuples"
my_array = np.array(((1, 3), (2.4, -1)))
def f3():
"Completely unrolled"
my_array = np.empty((2,2),dtype=float)
my_array[0,0] = 1
my_array[0,1] = 3
my_array[1,0] = 2.4
my_array[1,1] = -1
def f4():
"empty + ravel + list"
my_array = np.empty((2,2),dtype=float)
my_array.ravel()[:] = [1,3,2.4,-1]
def f5():
"empty + ravel + tuple"
my_array = np.empty((2,2),dtype=float)
my_array.ravel()[:] = (1,3,2.4,-1)
def f6():
"empty + slice assignment"
my_array = np.empty((2,2),dtype=float)
my_array[0,:] = (1,3)
my_array[1,:] = (2.4,-1)
def f7():
"empty + index assignment"
my_array = np.empty((2,2),dtype=float)
my_array[0] = (1,3)
my_array[1] = (2.4,-1)
def f8():
"np.array + flat list + reshape"
my_array = np.array([1, 3, 2.4, -1]).reshape((2,2))
def f9():
"np.empty + ndarray.flat (Pierre GM)"
my_array = np.empty((2,2), dtype=float)
my_array.flat = (1,3,2.4,-1)
def f10():
"np.fromiter (Bi Roco)"
my_array = np.fromiter((1,3,2.4,-1), dtype=float).reshape((2,2))
import timeit
results = {}
for i in range(1,11):
func_name = 'f%d'%i
my_import = 'from __main__ import %s'%func_name
func_doc = globals()[func_name].__doc__
results[func_name] = (timeit.timeit(func_name+'()',
my_import,
number=100000),
'\t'.join((func_name,func_doc)))
for result in sorted(results.values()):
print '\t'.join(map(str,result))
而重要的時間:
在Ubuntu Linux上,Core i7:
0.158674955368 f3 Completely unrolled
0.225094795227 f10 np.fromiter (Bi Roco)
0.737828969955 f8 np.array + flat list + reshape
0.782918930054 f5 empty + ravel + tuple
0.786983013153 f9 np.empty + ndarray.flat (Pierre GM)
0.814703941345 f4 empty + ravel + list
1.2375421524 f7 empty + index assignment
1.32230591774 f2 np.array + nested tuples
1.3752617836 f6 empty + slice assignment
1.39459013939 f1 np.array + nested lists
雖然顯然是違反直覺的,但結果並不令人驚訝:NumPy不是為處理大量非常小的陣列而設計的。 相反,它旨在操縱更大的數據數組。
我建議首先創建一個大型數組,大小為N*2*2
,用你的數據填充它,然后重新整形為(N,2,2)
。
作為旁注,您可能想嘗試一下
def f10():
mine = np.empty((2,2), dtype=float)
mine.flat = (1,3,2.4,-1)
.flat
方法應該比.ravel()[:]=...
方法明顯更有效(我的個人測試顯示它與@mgilson f3
順序相同)。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.