如何改进 python 中大阵列的循环？

Question

在对 StackOverflow 进行了一些研究之后，我没有找到一个简单的答案来解决我的问题。 因此，我与您分享我的代码以寻求帮助。

S=np.random.random((495,930,495,3,3))
#The shape of S is (495,930,495,3,3)

#I want to calculate for each small array (z,y,x,3,3) some features
for z in range(S.shape[0]):
    for y in range(S.shape[1]):
        for x in range(S.shape[2]):
            res[z,y,x,0]=np.array(np.linalg.det(S[z,y,x])/np.trace(S[z,y,x]))
            res[z,y,x,1]=np.array(S[z,y,x].mean())
            res[z,y,x,2:]=np.array(np.linalg.eigvals(S[z,y,x]))

这是我的问题。 S 数组的大小是巨大的。 所以我想知道是否有可能使这个 for 循环更快。

Answer 1

我不得不将形状减小到(49,93,49,3,3) ，以便它在我的硬件上以可接受的时间运行。 通过避免不必要的工作（不优化您的算法），我能够减少 5-10%。 不必要的工作包括但不限于：

• 执行（全局）查找
• 多次计算相同的值

您可能还想尝试不同的 python 运行时，例如 PyPy 而不是 CPython。

这是我的脚本的更新版本：

#!/usr/bin/python

import numpy as np

def main():
    # avoid lookups
    array = np.array
    trace = np.trace
    eigvals = np.linalg.eigvals
    det = np.linalg.det

    #The shape of S is (495,930,495,3,3)
    shape = (49,93,49,3,3) # so my computer can run it
    S=np.random.random(shape)

    res = np.ndarray(shape) # missing from the question, I hope this is correct

    #I want to calculate for each small array (z,y,x,3,3) some features
    # get shape only once, instead of z times for shape1 and z*y times for shape2
    shape1 = S.shape[1]
    shape2 = S.shape[2]
    for z in range(S.shape[0]):
        for y in range(shape1):
            for x in range(shape2):
                # get value once instead of 4 times
                s = S[z,y,x]
                res[z,y,x,0]=array(det(s)/trace(s))
                res[z,y,x,1]=array(s.mean())
                res[z,y,x,2:]=array(eigvals(s))

# function to have local (vs. global) lookups
main()

运行时间从 25 秒减少到 23 秒（用hyperfine测量）。

有用的参考资料：

• 为什么 Python 代码在 function 中运行得更快？
• Python：两个简单的函数，为什么第一个比第二个快
• Python 导入 X 还是从 X 导入 Y？ （表现）
• 将 python 导入函数中是否存在性能成本？

Answer 2

我不知道您的要求或资源，但也许您可以使用威胁编程或并行计算之类的东西来实现您的目标。 任何可以将您的大任务划分为同时运行的小任务以将所有结果放在最后的东西。 这只是一个概念的想法。