如何针对给定方程优化以下 python 代码？

Question

我写了下面的 python 代码，但是执行起来花费了太多时间，是否可以用最少的 for 循环编写代码？

 import numpy as np N=10 K=3 D=4 M_ikl = np.zeros((N,K,D)) one_minu_theta = np.random.randint(5, size=(N,D))+0.5 F = np.random.randint(2, size=(K,D))+0.5 sigma = np.random.randint(2, size=(K,D))+0.5 dat = np.random.randint(2, size=(N,D))+0.5 tau = np.random.randint(2, size=(K,D))+0.5 exp_gamma = np.random.randint(2, size=(K))+0.5 exp_gamma_minus = np.random.randint(2, size=(K))+0.5 M_ikl = np.zeros((N,K,D)) for i in range(N): for k in range(K): for l in range(D): M_ikl[i][k][l] = np.exp(one_minu_theta[i][l]*(F[k][l]+(sigma[k][l]-1)*np.log(dat[i][l])-(sigma[k][l]+tau[k][l])*np.log(1+dat[i][l])) + exp_gamma[k]+ np.sum(exp_gamma_minus[:-1]))

Answer 1

您可能正在进行大量重新计算。

M_ikl[i][k][l] = np.exp(
    one_minu_theta[i][l] * (
       F[k][l] + 
       (sigma[k][l]-1) * np.log(dat[i][l]) - 
       (sigma[k][l]+tau[k][l]) * np.log(1+dat[i][l])
     ) + 
     exp_gamma[k] + 
     np.sum(exp_gamma_minus[:-1])
)

您希望避免在算法的核心执行对数和求和

log_dat = np.log(dat)
log_dat_p1 = np.log(1+dat)
sum_gamma = np.sum(exp_gamma_minus[:-1])

for ... :
    M_ikl[i][k][l] = np.exp(
        one_minu_theta[i][l] * (
           F[k][l] + 
           (sigma[k][l]-1) * log_dat[i][l] - 
           (sigma[k][l]+tau[k][l]) * logdat_p1[i][l]
         ) + 
         exp_gamma[k] + 
         sum_gamma
    )

接下来，我会考虑在循环外的最后做指数运算。

for ... :
    lnM_ikl[i][k][l] = 
        one_minus_theta[i][l] * (
           F[k][l] + 
           (sigma[k][l]-1) * log_dat[i][l] - 
           (sigma[k][l]+tau[k][l]) * logdat_p1[i][l]
         ) + 
         exp_gamma[k] + 
         sum_gamma

M = np.exp(lnM_ikl)

（我认为你的 sum_gamma 项是错误的，因为它取决于等式中的 k，但不取决于你实现中的 k - 我只是继续假设它没问题）

现在您可以尝试将其拆分以使用 numpys 分布和张量乘积等。但我认为它现在足够简单，创建一个小的 numba 函数应该可以让您获得非常快的结果。

@numba
def calc_log_M(one_minus_theta, F, sigma, log_dat, logdat_p1, exp_gamma, sum_gamma):
   lnM = np.zeros(...)
   for ... :
      lnM[i][k][l] = 
        one_minus_theta[i][l] * (
           F[k][l] + 
           (sigma[k][l]-1) * log_dat[i][l] - 
           (sigma[k][l]+tau[k][l]) * logdat_p1[i][l]
         ) + 
         exp_gamma[k] + 
         sum_gamma
   return lnM

log_dat = np.log(dat)
log_dat_p1 = np.log(1+dat)
sum_gamma = np.sum(exp_gamma_minus[:-1])

M = np.exp(calc_log_M(one_minus_theta, F, sigma, log_dat, logdat_p1, exp_gamma, sum_gamma))

您可能需要调整 numba 参数以获得最佳性能。