[英]How to copy the pointer variable of a structure from host to device in cuda
我有一個包含一些變量和一些指針變量的結構。 我想以兩種不同的功能將此結構從主機復制到設備。 在第一個 function 中，我必須復制除一個指針變量之外的整個結構，然后在第二個 function 中，我必須復制剩余的指針。
我能夠復制整個結構，但無法復制第二個 function 中的剩余指針變量。
#include<iostream>
#define cudaCheckErrors(msg) \
do { \
cudaError_t __err = cudaGetLastError(); \
if (__err != cudaSuccess) { \
fprintf(stderr, "Fatal error: %s (%s at %s:%d)\n", \
msg, cudaGetErrorString(__err), \
__FILE__, __LINE__); \
fprintf(stderr, "*** FAILED - ABORTING\n"); \
exit(1); \
} \
} while (0)
struct MultiSGDKernelParam {
int count;
size_t sizes;
float *weights;
float *mom;
float lrs;
};
__global__ void Launch(MultiSGDKernelParam *param, int N, MultiSGDKernelParam *result)
{
for(int i=0; i<N; i++)
{
result[i] =param[i];
}
}
MultiSGDKernelParam *fillStructure(float *temp, const int N)
{
MultiSGDKernelParam *param;
param = (MultiSGDKernelParam*) malloc( N * sizeof(MultiSGDKernelParam));
for( int i=0; i< N ; i++)
{
param[i].count = i;
param[i].sizes = i*2;
param[i].lrs = param[i].sizes - i;
param[i].weights = &temp[i];
}
std::cout<<"Inside the function"<<"\n";
for(int i=0; i< N; i++)
{
std::cout<<param[i].sizes<<" ,"<<param[i].lrs<<"\t";
}
std::cout<<std::endl;
for(int i =0 ; i<N;i++)
{
std::cout<<*(param[i].weights)<<"\t";
}
std::cout<<std::endl;
MultiSGDKernelParam *d_param;
cudaMalloc((void**)&d_param, N * sizeof(MultiSGDKernelParam));
cudaMemcpy(d_param,param,N * sizeof(MultiSGDKernelParam),cudaMemcpyHostToDevice);
return d_param;
}
MultiSGDKernelParam * fillFullStructure(float *tweight, float *tmom, const int N )
{
MultiSGDKernelParam *param = fillStructure( tweight, N );
/* float *d_mom;
cudaMalloc((void**)&d_mom,N*sizeof(float));
cudaCheckErrors("cudaMalloc1 fail");
cudaMemcpy(d_mom,tmom,N*sizeof(float), cudaMemcpyHostToDevice);
cudaCheckErrors("cudaMemcpy1 fail");*/
for( int i=0; i< N ; i++)
{
cudaMemcpy(&(param[i].mom),&(tmom[i]),sizeof(float), cudaMemcpyHostToDevice);
cudaCheckErrors("cudaMempcpy2 fail");
}
std::cout<<"Momentum Values copied"<<"\n";
/*cudaMemcpy(&(param->mom),tmom,N*sizeof(float), cudaMemcpyHostToDevice);
cudaCheckErrors("cudaMempcpy1fail");*/
return param;
}
int main()
{
static const int N =5;
float tempweight [N], tempmom[N] ;
for(int i=0; i< N; i++)
{
tempweight[i] = i*3 +1;
tempmom[i] = i+3;
}
MultiSGDKernelParam *result;
MultiSGDKernelParam *param = fillFullStructure( tempweight,tempmom, N );
const unsigned blocks = 1;
const unsigned threadsPerBlock = 4;
cudaMalloc(&result, N * sizeof(MultiSGDKernelParam));
Launch<<<blocks,threadsPerBlock>>>(param, N, result);
cudaDeviceSynchronize();
MultiSGDKernelParam *paramresult;
paramresult = (MultiSGDKernelParam*) malloc( N * sizeof(MultiSGDKernelParam));
cudaMemcpy(paramresult,result, N * sizeof(MultiSGDKernelParam),cudaMemcpyDeviceToHost);
std::cout<<"Inside Main"<<"\n";
for(int i=0; i< N; i++)
{
std::cout<<paramresult[i].sizes<<" ,"<<paramresult[i].lrs<<"\t";
}
std::cout<<std::endl;
for(int i =0 ; i<N;i++)
{
std::cout<<*(paramresult[i].weights)<<"\t";
std::cout<<*(paramresult[i].mom)<<"\t";
}
std::cout<<std::endl;
return 0;
}
output 給出為
Inside the function
0 ,0 2 ,1 4 ,2 6 ,3 8 ,4
1 4 7 10 13
Momentum Values copied
Inside Main
0 ,0 2 ,1 4 ,2 6 ,3 8 ,4
Segmentation fault (core dumped)
我的代碼已編譯但在打印值時出現分段錯誤。復制是否成功如果不是問題是什么。
我不建議像這樣編寫 CUDA 內核：
__global__ void Launch(MultiSGDKernelParam *param, int N, MultiSGDKernelParam *result) { for(int i=0; i<N; i++) { result[i] =param[i]; } } 即使僅用於演示，您也應該做以下兩件事之一：要么像那樣編寫 kernel（沒有專門針對 CUDA 線程）並且只啟動 1 個線程的 1 塊（那么很明顯這只是為了演示）或否則使用正確的 CUDA 線程索引（例如int i = threadIdx.x+blockDim.x*blockIdx.x; ）並擺脫 for 循環，並使用多個線程啟動您的塊。 就目前而言，您沒有做過任何事情。 您有一個沒有專業化的普通 for 循環，在多個線程中運行。 當然，這可能不是您問題的重點，但是您現在的這種行為意味着線程在嘗試寫入result[i]時將相互踩踏。 即使您的代碼中的所有 rest 都是正確的，這也可能會讓人難以理解事情是否正常運行。 我們將通過將您的啟動配置切換為<<<1,1>>>來解決此問題
這個：
param[i].weights = &temp[i]; 不可能是正確的。 您正在結構內設置一個指針，以指向主機 memory中的內容。 （這里的temp項目指向你的tempweight主機數組。）這樣的指針不能以任何方式在設備代碼中使用。 這是一個基本的 CUDA 原理。 當您將該結構復制到設備時，該指針的數值不會以任何方式更改，這意味着它仍然指向主機 memory。 如果您打算在設備代碼中的任何位置使用此指針，您將不得不學習如何通過 CUDA 深拷貝操作進行工作。 這個答案一步一步地走過。 碰巧的是，您實際上並沒有嘗試在設備代碼中取消引用該指針 - 您只是將結構從一個地方復制到另一個地方。 因此，我們無需深入研究，即可讓您顯示的設備代碼正常工作。
段錯誤的近端原因是您尚未在代碼中的任何位置初始化mom結構成員，但您試圖在此處取消引用它：
std::cout<<*(paramresult[i].mom)<<"\t"; 在 C 或 C++ 中，如果您嘗試取消引用尚未初始化的指針，則可能會發生不好的事情。 我們可以通過注釋掉那行代碼來解決這個問題。 我們還可以通過在設備代碼中將數字指針值從weights結構成員復制到mom結構成員來“修復”它。 但是，我們不能直接在設備代碼中使用這些指針，因為它們是如上所述的主機指針。
以下代碼解決了上面的第一項和第三項。 它似乎對我來說運行正確。
$ cat t1529.cu
#include<iostream>
#include <stdio.h>
#define cudaCheckErrors(msg) \
do { \
cudaError_t __err = cudaGetLastError(); \
if (__err != cudaSuccess) { \
fprintf(stderr, "Fatal error: %s (%s at %s:%d)\n", \
msg, cudaGetErrorString(__err), \
__FILE__, __LINE__); \
fprintf(stderr, "*** FAILED - ABORTING\n"); \
exit(1); \
} \
} while (0)
struct MultiSGDKernelParam {
int count;
size_t sizes;
float *weights;
float *mom;
float lrs;
};
__global__ void Launch(MultiSGDKernelParam *param, int N, MultiSGDKernelParam *result)
{
for(int i=0; i<N; i++)
{
result[i] =param[i];
}
}
MultiSGDKernelParam *fillStructure(float *temp, const int N)
{
MultiSGDKernelParam *param;
param = (MultiSGDKernelParam*) malloc( N * sizeof(MultiSGDKernelParam));
for( int i=0; i< N ; i++)
{
param[i].count = i;
param[i].sizes = i*2;
param[i].lrs = param[i].sizes - i;
param[i].weights = &temp[i];
}
std::cout<<"Inside the function"<<"\n";
for(int i=0; i< N; i++)
{
std::cout<<param[i].sizes<<" ,"<<param[i].lrs<<"\t";
}
std::cout<<std::endl;
for(int i =0 ; i<N;i++)
{
std::cout<<*(param[i].weights)<<"\t";
}
std::cout<<std::endl;
MultiSGDKernelParam *d_param;
cudaMalloc((void**)&d_param, N * sizeof(MultiSGDKernelParam));
cudaMemcpy(d_param,param,N * sizeof(MultiSGDKernelParam),cudaMemcpyHostToDevice);
return d_param;
}
MultiSGDKernelParam * fillFullStructure(float *tweight, float *tmom, const int N )
{
MultiSGDKernelParam *param = fillStructure( tweight, N );
/* float *d_mom;
cudaMalloc((void**)&d_mom,N*sizeof(float));
cudaCheckErrors("cudaMalloc1 fail");
cudaMemcpy(d_mom,tmom,N*sizeof(float), cudaMemcpyHostToDevice);
cudaCheckErrors("cudaMemcpy1 fail");*/
for( int i=0; i< N ; i++)
{
cudaMemcpy(&(param[i].mom),&(tmom[i]),sizeof(float), cudaMemcpyHostToDevice);
cudaCheckErrors("cudaMempcpy2 fail");
}
std::cout<<"Momentum Values copied"<<"\n";
/*cudaMemcpy(&(param->mom),tmom,N*sizeof(float), cudaMemcpyHostToDevice);
cudaCheckErrors("cudaMempcpy1fail");*/
return param;
}
int main()
{
static const int N =5;
float tempweight [N], tempmom[N] ;
for(int i=0; i< N; i++)
{
tempweight[i] = i*3 +1;
tempmom[i] = i+3;
}
MultiSGDKernelParam *result;
MultiSGDKernelParam *param = fillFullStructure( tempweight,tempmom, N );
const unsigned blocks = 1;
const unsigned threadsPerBlock = 1;
cudaMalloc(&result, N * sizeof(MultiSGDKernelParam));
Launch<<<blocks,threadsPerBlock>>>(param, N, result);
cudaDeviceSynchronize();
MultiSGDKernelParam *paramresult;
paramresult = (MultiSGDKernelParam*) malloc( N * sizeof(MultiSGDKernelParam));
cudaMemcpy(paramresult,result, N * sizeof(MultiSGDKernelParam),cudaMemcpyDeviceToHost);
std::cout<<"Inside Main"<<"\n";
for(int i=0; i< N; i++)
{
std::cout<<paramresult[i].sizes<<" ,"<<paramresult[i].lrs<<"\t";
}
std::cout<<std::endl;
for(int i =0 ; i<N;i++)
{
std::cout<<*(paramresult[i].weights)<<"\t";
// std::cout<<*(paramresult[i].mom)<<"\t";
}
std::cout<<std::endl;
return 0;
}
$ nvcc -o t1529 t1529.cu
$ cuda-memcheck ./t1529
========= CUDA-MEMCHECK
Inside the function
0 ,0 2 ,1 4 ,2 6 ,3 8 ,4
1 4 7 10 13
Momentum Values copied
Inside Main
0 ,0 2 ,1 4 ,2 6 ,3 8 ,4
1 4 7 10 13
========= ERROR SUMMARY: 0 errors
$
如果您想在設備代碼中實際使用weights和mom結構成員（指針），則需要開始嘗試了解 CUDA 中的深拷貝操作。 我已經為您提供了逐步說明該過程的鏈接，並附有一個工作示例。 現在，您的代碼中沒有任何跡象表明您已經實現了任何這些，並且為您編寫代碼超出了我打算在這里回答的 scope，因為您沒有嘗試過。
CUDA：分配1d設備內存以將2d指針對指針主機陣列復制到GPU中或從GPU復制2d指針對指針主機陣列
[英]CUDA: Allocating 1d device memory to copy 2d pointer-to-pointer host array to and from GPU
有沒有辦法將 vtable 從主機復制到設備（CUDA 和 C++）
[英]Is There Any Way To Copy vtable From Host To Device (CUDA & C++)
如何使用推力和CUDA流將內存從主機異步復制到設備
[英]How to asynchronously copy memory from the host to the device using thrust and CUDA streams
如何將變量從主機上的自定義類數組復制到CUDA中設備上的浮點數組中
[英]How to copy variables from a custom class array on host into a float array on device in CUDA
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.