如何使用 CUPTI 获取与 Launch Metrics、Source Metrics 和 Instructions Per Opcode Metrics 相关的指标

Question

我能够使用 ncu 获取与启动指标、源指标和每个操作码指标的指令相关的指标（在此处找到）。 但是，在修改示例代码/usr/local/cuda-11.8/extras/CUPTI/samples/callback_profiling/callback_profiling.cu中的METRIC_NAME后，我无法使用 CUPTI 获取值。 我得到一个错误

FAILED: NVPW_MetricsEvaluator_ConvertMetricNameToMetricEvalRequest(&convertMetricToEvalRequest) with error NVPA_STATUS_INVALID_ARGUMENT 。

例如，如何获取链接手册中所示的memory_l2_theoretical_sectors_global或sass__inst_executed_per_opcode ？ （我能够使用 Nsight Compute 获取这些值，因此可以在我的系统上获取这些值。）我知道可以使用--query-metrics查询可用指标，但这些指标与我拥有的链接不同上文提到的。

有人可以让我知道如何使用 CUPTI 获取值吗？ 是否有相同的 Nvidia CUPTI 样本？

要分析的一个小内核：

#define N (2048 * 8)
#define THREADS_PER_BLOCK 512

void __device__ add1_device(const int x, const int y, int *z)
{
    
    *z = x * y;
    
}

__global__ void dot(int *a, int *b, int *c)
{
    __shared__ int temp[THREADS_PER_BLOCK];
    int index = threadIdx.x + blockIdx.x * blockDim.x;
    // temp[threadIdx.x] = a[index] * b[index];
    add1_device(a[index], b[index], &temp[threadIdx.x]);    // Comment this line and uncomment the previous to not use the _-device__ 

    __syncthreads();

    if (threadIdx.x == 0)
    {
        int sum = 0;
        for (int i = 0; i < THREADS_PER_BLOCK; i++)
        {
            sum += temp[i];
        }
        atomicAdd(c, sum);
    }
}


    int *a, *b, *c;
    int *dev_a, *dev_b, *dev_c;
    int size = N * sizeof(int);

    //allocate space for the variables on the device
    cudaMalloc((void **)&dev_a, size);
    cudaMalloc((void **)&dev_b, size);
    cudaMalloc((void **)&dev_c, sizeof(int));

    //allocate space for the variables on the host
    a = (int *)malloc(size);
    b = (int *)malloc(size);
    c = (int *)malloc(sizeof(int));

    //this is our ground truth
    int prodTest = 0;
    //generate numbers
    for (int i = 0; i < N; i++)
    {
        a[i] = rand() % 10;
        b[i] = rand() % 10;
    }

    *c = 0;

    cudaMemcpy(dev_a, a, size, cudaMemcpyHostToDevice);
    cudaMemcpy(dev_b, b, size, cudaMemcpyHostToDevice);
    cudaMemcpy(dev_c, c, sizeof(int), cudaMemcpyHostToDevice);

    dot<<< N / THREADS_PER_BLOCK, THREADS_PER_BLOCK >>>(dev_a, dev_b, dev_c);
    cudaDeviceSynchronize();
    cudaMemcpy(c, dev_c, sizeof(int), cudaMemcpyDeviceToHost);

    free(a);
    free(b);
    free(c);
    cudaFree(dev_a);
    cudaFree(dev_b);
    cudaFree(dev_c);

Answer 1

以下指标组由 Nsight Compute 计算，在 CUPTI 中不作为指标提供：

https://docs.nvidia.com/nsight-compute/ProfilingGuide/#metrics-reference

• 启动指标
• 设备属性
• 源指标
• 每个操作码指标的指令