如何缓解 CPU 到 GPU 瓶颈

Question

我正在使用 ComputeSharp 库在大量数据上运行计算着色器。 数据集大约 10GB，分成更小的（大约 3Gb）块供 GPU 处理。 问题是每个部分都需要大约 1 秒的时间来加载、计算和返回，即使计算几乎是即时的。

我正在寻找一种方法来加快速度，因为现在它在某些情况下会被 CPU 超越。

更多细节：数据集由形成点云的自定义点组成。 着色器正在寻找具有最高值的点并使用这些点来渲染图像。 点云的最大大小约为 5 亿点。

这些点已经尽可能小，将所有元数据保存在一个 int 中。 一切都被放入一个缓冲区并传递给着色器，该着色器将结果吐出另一个缓冲区。 我已经尝试过使用纹理但失败了，因为它们不支持自定义类型。

编辑（最小复制）：

public struct DataPoint
{
    public float3 Position;
    public uint Value;
}

public void ComputeOneChunk(DataPoint[] dataPoints)
{
    var stopWatch = new Stopwatch();
    stopWatch.Start();
    using var currentChunk = _gpu.AllocateReadOnlyBuffer(dataPoints);
    stopWatch.Stop();
    Debug.WriteLine($"Buffering took {stopWatch.ElapsedMilliseconds}ms");
    stopWatch.Restart();
    _gpu.For(dataPoints.Count, 1, new FindMax(
        currentChunk,
        resultBuffer));
    stopWatch.Stop();
    Debug.WriteLine($"Execution took {stopWatch.ElapsedMilliseconds}ms");
}

[AutoConstructor]
public readonly partial struct FindMaxForWell : IComputeShader
{
    public readonly ReadOnlyBuffer<DataPoint> buffer;
    public readonly ReadWriteBuffer<uint> resultBuffer;

    public void Execute()
    {
        //DoStuff
    }
}


    

Answer 1

找到了解决方案。 似乎将 dataPoints 数组转换为缓冲区需要很长时间并且涉及一些中间步骤。 为了加快速度，您可以使用 UploadBuffer 消除这些额外步骤。

_currentChunk = _gpu.AllocateReadOnlyBuffer<DataPoint>(uploadBuffer.Length); 
_currentChunk.CopyFrom(uploadBuffer);

这将 1 秒更改为大约 300 毫秒，这可能与 PCIe 上的 go 一样快。

然而出现了另一个问题，那就是 UploadBuffer 使用 Span 并且访问它以保存数据非常慢，我仍在尝试解决。