OpenCl 中的多线程

Question

我已经开始研究 OpenCl，并且对工作组和内核的工作原理有了一些基本的了解。 假设我有一个大小为 1024 的向量，我的 GPU 的 WorkGroupSize 是 256。所以我的 WorkGroupSize 是我的 VectorSize 的倍数，这作为一个例子非常有效。 但在实际场景中，VectorSize 不能完全被 WorkGroupSize 整除。 那么如何处理此类问题呢？ 有什么方法可以传递空值以使 VectorSize 完全可被 WorkgroupSize 整除？

Answer 1

绝对有可能将输入缓冲区填充为您为内核选择的工作组大小的整数倍。 然而，仅仅因为您需要一种算法来自然地处理未初始化或额外的无效数据而不会出错，这通常是不切实际的。

一个更简单的解决方案是将输入缓冲区长度作为参数传递，然后根据线程索引将计算代码包含在 if 语句中，例如：

__kernel void kernel(....., unsigned int N)
{
    unsigned int tid = get_global_id(0);

    if (tid < N) {
        /* kernel buffer access goes here */
    }
}

这不会导致显着的性能损失，因为条件语句将在除一个之外的每个工作组中统一评估。 然后，您将启动的工作组数四舍五入，以确保处理整个输入缓冲区。

Answer 2

您不需要填充自己的工作组：将内核排队小于每个工作组的最大工作项是可以的。

因此，例如，如果您有 1100 个项目，您可以按以下组工作：[256, 256, 256, 256, 76] 这将运行 5 组 256（1280 个项目）的速度。

显然，如果你跑 6 个较小的组 [200, 200, 200, 200, 200, 100]，它会更慢。