Keras Dropout 實際上是如何執行的？
[英]How is Keras Dropout actually perfomed?
我試圖了解如何實現K.layers.Dropout ，因為在文獻中它總是被稱為每個元素的 0/1 掩碼的隨機獨立采樣。 鑒於文獻對我來說很清楚，我轉而對其進行編碼，我偶然發現了一個問題：由於 TF 使用 Graphs，我們不知道樣本量，特別是： 確實會打印（假設急切評估已關閉） None作為第一維 ...
Pytorch：僅禁用 nn.Dropout() 而不使用 model.eval()
[英]Pytorch: Disable only nn.Dropout() without using model.eval()
可以使用 model.eval() 禁用 nn.Dropout()。 但是，通過使用 .eval()，nn.BatchNorm1d() 也會被禁用。 由於訓練集和測試集之間的分布不同，我想只禁用 Dropout 以通過 GAN 生成數據。 有什么方法可以在訓練后只禁用 Dropout？ 這是我的 G ...
LSTM 層中的 dropout、recurrent_dropout
[英]dropout, recurrent_dropout in LSTM layer
我正在訓練一個 GRU 神經網絡，並在我的 GRU 層中添加了 dropout 和經常性 dropout，但是從那時起，我每次再次運行程序時都無法獲得可重現的結果，即使使用以下方法我也無法解決此問題： 在同一層。 這是我的模型： ...
1500 次迭代后 dropout 成本變為 nan
[英]Dropout cost becomes nan after 1500 iteration
我試圖以 Andrew-NG 深度學習 course-1 week-4 格式實現dropout 模型。 使用 course-2 week-1 的數據。 “dropout_project.ipynb”是主項目文件，當我在 1500 次迭代后運行它時，成本變為 nan “deep_nn.p ...
如何在 pytorch 中應用二維張量的每行 dropout
[英]How can I apply dropout per row of a 2d tensor in pytorch
我有一個（相對稀疏的）2d 張量U ，形狀為(B, I)的 1 和 0。 每行代表一個用戶，每列代表一個項目，如果用戶與所述項目交互，則單元格為 1，否則為 0。 我想應用 dropout（或類似的張量操作），以便隨機地將每行（即每個用戶）中 1 的p%設置為 0。 go 如果沒有沿B維度的 f ...
pytorch中自定義LSTM的輟學
[英]Dropout in custom LSTM in pytorch
我已經建立了一個自定義的窺視孔 lstm，我想模仿已經內置的nn.lstm中的 dropout 部分。 那么，如何像這個 lstm, nn.LSTM(input_size, hidden_size, dropout=0.3)的初始化一樣添加 dropout 呢？ 我知道如何做到這一點，即在返回輸出之 ...
MXNET - 如何將 dropout 層添加到 ResNet_v1 預訓練模型
[英]MXNET - How to add dropout layer to ResNet_v1 pretrained model
我正在嘗試微調 mxnet 中的預訓練模型：ResNet50_v1。 該模型沒有 dropout，我想添加它以避免過度擬合，並使其看起來類似於 I3D_Resnet50_v1_Kinetics400 的最后一層。 我嘗試執行以下操作，但在訓練時出現錯誤： 原始網絡的最后幾層（ResNet50_v1 ...
DNN - 找到最佳輟學率
[英]DNN - Find optimal dropout rate
有沒有辦法在不重新訓練的情況下為我的 DNN 找到最佳丟失率？ 也許一些子問題： 在每個密集層之后有一個 dropout 是明智的嗎？ 在最后有一個單獨的 dropout 層並且只重新訓練最后一層而不是整個 model 就足夠了嗎？ ...
在 Keras 中將訓練設置為真后，如何再次禁用輟學？
[英]How to disable dropout AGAIN after setting training to true in Keras?
我有以下代碼： 為了我的目的，我需要 training=True 。 但是，出於這個目的，我需要在 Dropout-Layers 中使用 training=False。 有沒有辦法輕松實現這一目標？ 一種方法是加載 model 權重並將它們加載到第二個 model 中，它首先沒有任何 Dropou ...
在 CNN 中實現 dropout 層的正確方法是什么？
[英]What is the proper way to implement a dropout layer in a CNN?
這個程序正確嗎？ 我的意圖是在連接后添加一個 dropout 層，但為此我需要將 concat 層的 output 調整為適當的形狀（樣本、時間步長、通道） ，從而將維度從(None, 4096) to (None, 1, 4096)並因此撤消 output 之后的操作。 ...
“ ValueError：期待來自 tf.keras.Input() 的 KerasTensor”。 dropout 預測錯誤 function
[英]" ValueError: Expecting KerasTensor which is from tf.keras.Input()". Error in prediction with dropout function
根據Yarin Gal 的文章，我正在嘗試在測試期間使用 Dropout 預測回歸問題的不確定性。 我使用 Keras 的后端 function 創建了一個 class，正如這個堆棧溢出問題的答案所提供的那樣。 class 將 NN model 作為輸入並在測試期間隨機丟棄神經元以給出隨機估計而 ...
Batchnormalize、Dropout 和層數
[英]Batchnormalize, Dropout and number of layers
我正在學習批量標准化和輟學。 看到這個https://www.kaggle.com/ryanholbrook/dropout-and-batch-normalization 。 model 我的問題是我們是在批標准化（BN）之前還是之后？ 結果一樣嗎？ 我的理解是 dropout 會“停用”下一層 ...
在 Vision Transformer model 中將 Dropout 設置為非零
[英]Set Dropout to be non-zero in Vision Transformer model
我正在使用 Vision Transformer model 進行圖像分類。 我正在導入model_ft = torch.hub.load('facebookresearch/deit:main', 'deit_base_patch16_224', pretrained=True) 加載 model ...
Dense 層上的 Dropout
[英]Dropout on a Dense layer
在 Keras 中，當我們使用input_dim參數定義第一個隱藏層時，后跟一個 Dropout 層，如下所示： Dropout 是應用於隱藏層還是輸入層？ 如果它被應用於隱藏，我如何也應用於輸入，反之亦然？ ...
退出權重多久更新一次
[英]How often do dropped out weights get updated
我正在處理一個數據很少的問題。 我正在擴充訓練集，即我將圖像在兩個方向上最多旋轉 12 度： https://docs.scipy.org/doc/scipy/reference/generated/scipy.ndimage.rotate.html 因為我只有我的工作 PC 可以使用（只有 i ...
SimCSE如何獨立兩次輟學
[英]How does SimCSE do dropout twice indepently
如何將一個輸入句子獨立地兩次傳遞給 bert 和 dropout？ 這是我到目前為止所嘗試的，輸出是相同的。 ...
在 PyTorch 中使用 PackedSequence 時如何處理 LSTM 層之間的丟失？
[英]How to deal with dropout in between LSTM layers when using PackedSequence in PyTorch?
我正在為我的碩士論文創建一個用於特征提取的 LSTM 自動編碼器。 但是，我在將 dropout 與 LSTM 層相結合時遇到了很多麻煩。 因為它是一個自動編碼器，所以我遇到了一個瓶頸，這是通過有兩個獨立的 LSTM 層實現的，每個層的 num_layers=1，中間有一個 dropout。 我有 ...
向 U_Net Segmentation_Models 添加 Dropout 層
[英]Adding Dropout Layers to U_Net Segmentation_Models
我正在使用 U_Net 分割模型通過 Kersa 和 Tensorflow 2 進行醫學圖像分割。我想在模型中添加一個 dropout，但我不知道在哪里添加它？ 任何人都可以幫忙嗎？ 謝謝 ...
在 tf.keras 中的 model.fit 中，有沒有辦法將每個樣本分批傳遞 n 次？
[英]In model.fit in tf.keras, is there a way to pass each sample in a batch n times?
我正在嘗試為利用 Monte Carlo (MC) dropout 的模型編寫自定義損失函數。 我希望模型在將預測提供給損失函數之前分批運行每個樣本n次。 當前的玩具代碼如下所示。 該模型有 24 個輸入和 10 個輸出，有 5000 個訓練樣本。 y_true和y_pred的當前形狀是(No ...
我的驗證損失低於我的訓練損失，我應該擺脫正則化嗎？
[英]My validation loss is lower than my training loss, should I get rid of regularization?
我聽到很多人談論一些原因，但他們從未真正回答是否應該修復它。 我檢查了我的數據集是否有泄漏，並從 TFRecords 數據集中隨機抽取了 20% 用於我的驗證集。 我開始懷疑我的 model 有太多的正則化層。 我應該減少我的正則化以使驗證線位於訓練線之上嗎？ 或者它真的很重要嗎？ ...