CUDA - 在内核中动态重新分配更多全局内存

Question

我对以下任务有疑问：

“给定一个二维数组“a[N][M]”，所以长度为 M 的 N 行。数组的每个元素包含一个 0 到 16 之间的随机整数值。写一个内核“compact(int *a, int * listM, int *listN)”，它仅由一个包含 N 个线程的块组成，每个线程计算数组的一行有多少元素值为 16。

线程将这些数字写入共享内存中长度为 N 的数组“num”中，然后（在屏障之后）其中一个线程执行下面列出的前缀代码“PrefixSum(int *num, int N)”（在代码中下面我解释一下，这段代码是做什么的）。 最后（再次屏障），每个线程“Idx”将其行中值为 16 的元素的 N 值和 M 值分别位置（或“x 和 y 坐标”）写入两个数组“ listM”和“listN”在全局内存中，从这些数组中的位置“num[Idx]”开始。 为了更轻松地实现这最后一个任务，有上面提到的前缀代码。”

我已经编写了一个内核和一个合适的 main 来测试它。 但是，我仍然有一个我无法解决的问题。

在两个数组“listeM”和“listeN”中，应该存储数组“a[M][N]”中出现的每 16 个的单独位置。 因此，它们的大小必须等于 16 的总出现次数，这可能会有所不同。

由于您不知道值为 16 的元素的确切数量，因此您只能在内核运行时知道两个数组“listeM”和“listeN”需要多少内存。 当然，您可以在程序启动时为最大可能数量（即 N 乘以 M）释放足够的内存，但这会非常低效。 是否可以编写内核，以便每个线程在计算其行中值为 16 的元素数量（仅此数字）后动态扩大两个数组“listeM”和“listeN”？

这是我的内核：

__global__ void compact(int* a, int* listM, int* listN)
{
    int Idx = threadIdx.x;
    int elements, i;

    i = elements = 0;

    __shared__ int num[N];

    for (i = 0; i < M; i++)
    {
        if (a[Idx][i] == 16)
        {
            elements++;
        }
    }
    num[Idx] = elements;

        //Here at this point, the thread knows the number of elements with the value 16 of its line and would 
        //need to allocate just as much extra memory in "listeM" and "listeN". Is that possible ?

    __syncthreads();

    if (Idx == 0)
    {
                //This function sets the value of each element in the array "num" to the total value of the 
                //elements previously counted in all lines with the value 16.
                //Example: Input: num{2,4,3,1} Output: num{0,2,6,9}
        PrefixSum(num, N);
    }

    __syncthreads();

        // The output of PrefixSum(num, N) can now be used to realize the last task (put the "coordinates" of 
        //each 16 in the two arrays ("listM" and "listN") and each thread starts at the position equal the 
        //number of counted 16s).
    for (i = 0; i < M; i++)
    {
        if (a[Idx][i] == 16)
        {
            listM[num[Idx] + i] = Idx;
            listN[num[Idx] + i] = i;
        }
    }
}

Answer 1

是否可以编写内核，以便每个线程在计算其行中值为 16 的元素数量（仅此数字）后动态扩大两个数组“listeM”和“listeN”？

CUDA 设备代码不可能扩大使用主机端cudaMalloc 、 cudaMallocManaged 、 cudaHostAlloc或类似方法创建的现有分配。

CUDA 设备代码可以使用内核中的new或malloc 创建新的分配，但是来自此类分配的数据不能直接传输回主机。 要将其传输回主机需要主机端分配，来自此类分配的数据可以复制到其中，这使您回到原始问题。

因此，确实没有方便的方法来做到这一点。 您的选择是：

1. （过度）根据最大可能返回的大小分配所需的大小。
2. 创建一个算法，该算法运行一次内核以确定所需的大小，并将该大小返回给主机。 然后，主机分配该大小并将其传递给内核以供使用，在第二次调用算法时，它会执行实际所需的工作。

“可能”的第三种方法是：

1. 只运行一次算法，让内核分配内核以提供所需的额外空间。 主机端操作无法访问该空间。 该内核还将返回此类分配的大小和/或安排。

2. 根据返回的设备大小分配的大小/安排，主机将分配所需大小的新内存。

3. 然后，主机将启动一个新的“复制内核”，该内核会将数据从步骤 1 的设备端分配复制到步骤 2 中提供的主机端分配。

4. 然后，主机会将步骤 2 中主机端分配的数据复制到主机内存中。

对于您概述的这样一个微不足道的问题来说，这是一种极端的复杂性，其中明显的解决方案只是过度分配所需的空间并完成它。