请有人解释一下这个 numpy 相关代码的作用或含义吗？

Question

请问下面代码中的以下几行代码是什么意思：

 avg= np.mean(a[np.where(a[:,0]== u[0])][:,1])

bestArm = u[0]

 choice = np.where(arms == np.random.choice(arms))[0][0]

runningMean = np.mean(av[:,1])

这些代码行来自如下所示的机器学习强化学习程序：

import numpy as np
import random
import matplotlib.pyplot as plt
%matplotlib inline

np.random.seed(5)

n= 10
arms= np.random.rand(n)
eps= 0.1 #probability of exploration action


def reward(prob):
    reward = 0
    for i in range(10):
        if random.random() < prob:
            reward += 1
    return reward

#initialize memory array; has 1 row defualted to random action index
av = np.array([np.random.randint(0, (n+ 1)), 0]).reshape(1,2) #av = action-value
#greedy method to select best arm based on memory array
def bestArm(a):
    bestArm = 0 #default to o
    bestMean= 0
    for u in a:
        avg= np.mean(a[np.where(a[:,0]== u[0])][:,1]) # calculate mean reward for each action
        if bestMean < avg:
            bestMean = avg
            bestArm = u[0]
    return bestArm        
        
        
     
        
plt.xlabel('Number of times played')
plt.ylabel('Average Reward')
for i in range(500):
    if random.random() > eps: #greedy exploitation action
        choice= bestArm(av)
        thisAV= np.array([[choice, reward(arms[choice])]])
        av= np.concatenate((av, thisAV), axis= 0)
    else:
        choice = np.where(arms == np.random.choice(arms))[0][0]
        thisAV= np.array([[choice, reward(arms[choice])]]) #choice , rewaard
        av= np.concatenate((av, thisAV), axis = 0) # add to our action value memory array
        
        # calculate the mean reward
        runningMean = np.mean(av[:,1])
        plt.scatter(i, runningMean)

请我将不胜感激这方面的帮助，因为我曾尝试使用谷歌搜索来理解这些代码行，但对我得到的答案并不完全满意。 谢谢。

Answer 1

avg= np.mean(a[np.where(a[:,0]== u[0])][:,1])

从内到外， a[:,0]==u[0]产生真假值的阵列，其中的第一列a等于在值u[0] np.where返回索引的列表，其中该阵列包含True 。 取a[np.where...]只返回a那些元素，而[:,1]返回该子数组中的第二列。 所以，你取平均值行中的第二列a ，其中的第一列a等于u[0]

choice = np.where(arms == np.random.choice(arms))[0][0]

从内到外， np.random.choice(arms)从arms数组中随机选择一个元素。 arms == np.random.choice(arms)返回True对于那些行arms匹配随机选择，否则返回False这一点。 np.where再次返回 True 行的索引。 因此，这基本上是您从随机选择的arms元素中返回 [0][0] 元素。

runningMean = np.mean(av[:,1])

这取av的第二列的平均值。