[英]Tensorflow simple cumulative sum of product RNN cell
賞金將在 4 天后到期。 此問題的答案有資格獲得+50聲望賞金。 Simon Chemnitz-Thomsen正在尋找一個規范的答案。 我正在嘗試構建一個 Tensorflow model 來計算兩個輸入特征的乘積的累積和,即僅預測 (1,2) 應該返回 2,然后預測 (2,2) 應該給出 6= ...
[英]Tensorflow simple cumulative sum of product RNN cell
賞金將在 4 天后到期。 此問題的答案有資格獲得+50聲望賞金。 Simon Chemnitz-Thomsen正在尋找一個規范的答案。 我正在嘗試構建一個 Tensorflow model 來計算兩個輸入特征的乘積的累積和,即僅預測 (1,2) 應該返回 2,然后預測 (2,2) 應該給出 6= ...
[英]Using output cell and hidden states of one LSTM cell as input states for another
通常,在討論堆疊 LSTM(具有獨立權重)時,單元格和隱藏狀態對於每個單獨的單元格都是唯一的,並且不在它們之間共享。 每個 LSTM 單元以其自己的一組狀態獨立運行。 是否有任何理由使用一個 LSTM 單元的 output 單元 state 和隱藏的 state 作為輸入單元 state 和另一個 ...
[英]How to access the gradients of intermediate outputs during the training loop?
假設我有以下(相對)小的 lstm model: 首先,讓我們創建一些偽輸入/目標數據: 現在,讓我們定義一個簡單的 lstm model: 實例化 model,失去樂趣。 和優化器: 現在,在訓練循環期間,我想打印每個時期的中間( a_s.grad , b_s.grad )輸出的梯度: 但我得到 ...
[英]DL4J LSTM - Contradictory Errors
我試圖在 Java 中使用 Deeplearning4J 創建一個簡單的 LSTM,具有 2 個輸入特征和 1 的時間序列長度。但是,我在調用 predict() 時遇到了有關輸入維數的錯誤。 運行時出現如下錯誤: 我覺得這很奇怪,但我還是嘗試重塑它: ...導致相反的問題: 我到底做錯了什么? ...
[英]I am trying to find a way to convert numpy array to hdf5 format
我正在嘗試轉換 Numpy arrays,它們是在 HDF5 格式中隨時間變化的二維網格,適用於多種情況,例如 Numpy 數組具有以下方面:案例編號 (0-100)、時間 (0-200 年)、X 網格點位置(0-100m),y 網格點位置(0-20m)加上該位置的實際數據點(例如飽和度范圍為 0- ...
[英]loss is drastically decreasing whereas BLEU score stays at zero during training of the seq2seq RNN for machine translation
我正在嘗試使用 LSTM 訓練用於機器翻譯的 RNN。 然而,第一批的 BLEU 減少到零,並在所有訓練期間保持在這個水平。 與此同時,損失正在急劇減少。 可能是什么問題? **代碼: ** 訓練,在開發數據集和損失上評估的 BLEU 分數圖 訓練,在開發數據集和損失上評估的 BLEU 分數圖我認 ...
[英]Why we use padding for sentences, when RNN can take dynamic sequence of input?
在閱讀問題時,請考慮左圖(折疊圖像) 在我們展開 RNN 的圖中,我們將 T 時間戳的 output 傳遞到下一個 T+1 時間戳,這是到同一個 RNN 或者我們將 T 時間戳的 output 發送回同一個神經網絡,所以我們在同一個神經/神經元上循環這個過程。 讓我們將架構視為多對一 RNN。 因 ...
[英]How to implement a One to Many RNN in FluxML (Julia Lang)?
在 Python 和 TensorFlow 和 Pytorch 中有大量關於如何創建各種 RNN 架構的示例,其中包括一對多架構。 問題是如何使用 Julia Lang 在FluxML中完成此操作。 Keras 在 TensorFlow 中,RNN 單元的return_sequences選項允許 ...
[英]How to change MLP structure to RNN structure in Pytorch
我想設計一個 RNN Class 結構,它產生與 MLP Class 結構相同的輸入和 output。 實際上,我的 MLP 代碼是 我試過了 但我認為這是錯誤的,我應該如何修改代碼? ...
[英]Why model with one GRU layer return zero gradients?
我正在嘗試比較 2 個模型以了解漸變的行為。 檢查第一個 model 的梯度給出 True(零梯度): 檢查第二個 model 的梯度也給出 True(零梯度): 根據這里的答案: GRU 保存序列 output 順序后的線性層? 第二個 model(只有 GRU 層)需要提供非零梯度。 我錯過 ...
[英]LSTM overfitting problem for all my result. Can someone examine my code for any errors?
感謝您花時間考慮我的問題。 我對 LSTM 有問題,因為它讓我對所有結果都過度擬合。 我嘗試了不同的技術。 有人可以檢查我的代碼,看看我是否寫錯了任何行嗎? ...
[英]Keras: Why is LSTM much faster than SimpleRNN during training
當我嘗試使用 SimpleRNN 與 LSTM 時,我發現 SimpleRNN 訓練的 ETA 為 30 分鍾,而 LSTM 的 ETA 為 20 秒。 但是 SimpleRNN 的操作應該比 LSTM 少。 是什么造成了這種巨大的差異? 我使用 SimpleRNN 錯了嗎? ...
[英]Cross Validation using metrics.mean_squared_error, "found array with dim 3. Estimator expected <= 2." Error
我正在使用 LSTM RNN 訓練模型(多對多)。 我將應用交叉驗證來提高結果質量,但我不能使用“metrics.mean_squared_error”函數,因為它是一個多元系統。 我應該手動創建交叉驗證函數還是可以使用 3D 數組使用此函數? 這是我的火車和測試數據的形狀; ((118000, ...
[英]Model Training using a Data Set with CSV files and Images
這個賞金已經結束了。 此問題的答案有資格獲得+50聲望賞金。 賞金寬限期在23 小時后結束。 Lakshan Costa想讓更多人關注這個問題: 我正在尋找一種方法來做到這一點,我猜它可以像圖像字幕一樣完成。 如果可能的話,請指導我使用這樣完成的代碼。 任何幫助,將不勝感激我正在嘗試從垂直條形圖 ...
[英]BayesianOptimization search does not error out for missing parameter
以下代碼不會因 validation_data 中缺少參數而出錯 然而它錯誤validation_data=(x_val, y_val) 請參閱以下相關問題: typeerror-float-object-is-not-subscri 整行: ...
[英]How to disable Teacher Forcing RNN model
我有以下 Teacher forcing RNN model,我隱式地將整個輸入序列 (inputs = ids[:, i:i+seq_length] 一次傳遞給 model。我應該修改什么以禁用教師強制訓練並獲得原始model。 我試圖以不同的方式傳遞輸入和目標,但沒有任何效果。 我有點困惑原始 ...
[英]How to print the dense layer values?
我創建了一個 CNN model。因為我想打印密集層的一維數組值。 如何在 python 中打印密集層 output 矢量。 ...
[英]I'm a newbie of deep-learning..! Why my CRNN model's accuracy is too low?
這是我的代碼,以及訓練精度的圖像 設備配置 加載 ESC-50 數據和預處理 火車測試拆分 Model model 初始化 標准和優化器 火車 驗證 如果驗證損失減少,保存 model 打印紀元損失和准確性 我的訓練准確率請告訴我為什么我的訓練准確率太低.. ...
[英]Mismatch between computational complexity of Additive attention and RNN cell
根據Attention is all you need論文:Additive attention(Bahdanau 在 RNN 中使用的經典注意力)使用具有單個隱藏層的前饋網絡計算兼容性 function。 雖然兩者在理論復雜性上相似,... 事實上,我們可以在這里看到加法注意力和 dot-prod ...
[英]What is the difference between Tensorflow GlorotNormal and GlorotUniform
我正在使用帶有 SimpleRNN 層的 Tensorflow 訓練神經網絡。 默認情況下kernel_initializer='glorot_uniform' 。 GlorotNormal 和 GlorotUniform 之間有區別嗎? 哪個最適合 RNN? ...