Theano：混合使用CPU和GPU？

Question

我建立了一個神經網絡，該網絡需要使用Cholesky分解並求解三角系統作為其計算的一部分。 當然，這意味着我還需要計算整個計算的梯度。

當我嘗試編譯代碼時，出現錯誤“沒有可用的Cula”。 不幸的是，我無法從網站上下載Cula。

我想知道是否可以將CPU和GPU與theano混合使用。 我需要在Cholesky和Solve上使用的矩陣很小（100x100），因此我可以在CPU上執行此操作。 但是，要做到這一點，我需要在GPU計算完矩陣后立即將其傳輸到CPU，然后將結果發送回GPU。 是否可以足夠透明地執行此操作？

Answer 1

此轉移是透明的。 不需要做一些特別的事情。 但我建議您對Theano圖進行剖析，只是為了確保： http : //deeplearning.net/software/theano/tutorial/profiling.html#tut-profiling

對於cula，有一個PR可以根據NVIDIA現在提供的cusolver提供解決方案。 因此，這可能不再需要。 試試這個PR： https : //github.com/Theano/Theano/pull/4917