mini-batch 梯度下降，損失沒有改善，准確率很低
[英]mini-batch gradient descent, loss doesn't improve and accuracy very low
我正在嘗試在流行的 iris 數據集上實現小批量梯度下降，但不知何故我無法使 model 的准確度超過 75-80%。 此外，損失並沒有減少，而是停留在 0.45 左右，即使我將迭代次數設置為 10000 也是如此。我在這里缺少什么？ 訓練循環，每個時期的批量大小 = 10。transform_la ...
Tensorflow Object如何檢測小批量樣品？
[英]How does Tensorflow Object Detection sample mini-batches?
我嘗試構建一個 object 檢測 model，作為碩士學位項目的一部分。 當我們使用神經網絡時，批量大小是一個重要的超參數。 從我以前的問題中了解到，每個小批量都是隨機抽樣的，沒有從數據集中進行替換（ https://stats.stackexchange.com/questions/23584 ...
在訓練時對驗證集進行小批量處理的正確方法是什么？
[英]What is the right way of mini-batching the validation set while training?
我正在訓練一個神經網絡。 對於訓練，我獲得了 80% 的數據並將其划分為多個小批量。 我對每個小批量進行訓練，然后更新參數，直到訪問所有數據。 我對多個時期重復整個過程。 問題是關於剩下的 10%+10% 的數據：在這個過程中如何改變驗證集？ 我是否也應該對驗證集使用旋轉小批量？ ...
將 Eigen MatrixXd 拆分為具有隨機打亂行的固定大小批次的最佳方法
[英]The optimal way to split Eigen MatrixXd into fixed-size batches with randomly shuffled rows
我有輸入和目標數據表示為 MatrixXd (N x M) 和 VectorXd (N)。 目標是創建大小為 K 的小批量，其中包含以相同方式混洗的輸入和目標數據的子集。 然后，ML model 將循環處理這些小批量。 您能否推薦如何通過盡可能少的復制來實現這一目標（也許，使用代碼示例）？ 我嘗試實 ...
Databricks Autoloader 卡住，無法傳遞到下一批
[英]Databricks Autoloader is getting stuck and does not pass to the next batch
我每 5 分鍾安排一次簡單的工作。 基本上它監聽存儲帳戶上的雲文件並將它們寫入增量表，非常簡單。 代碼是這樣的： 有時有新文件，有時沒有。 在 40-60 個批次之后，它會卡在一個特定的批次 ID 上，就好像文件夾中沒有新文件一樣。 如果我手動運行腳本，我會得到相同的結果：它指向最后一個實際處理的批 ...
如何在 gpflow 中使用具有非變異 GPR 的小批量？
[英]How can I use minibatches with a non-variational GPR in gpflow?
我試圖調整本文檔中的說明以使用小批量來訓練 GPR 模型，但我嘗試過的任何方法都不起作用。 我無法為 training_loss_closure 方法提供批處理迭代器，也無法為模型的數據屬性使用批處理迭代器。 有沒有辦法在 gpflow 中使用帶有非變分模型（如 GPR 或 SGPR）的小批量？ ...
小批量反向傳播澄清
[英]mini batch backpropagation clarification
通讀了很多文章，現在我的腦力耗盡了，需要對小批量的概念有一個全新的認識。 我是機器學習的新手，如果您就我的過程是否正確提出任何建議，我將不勝感激。 這是我的前提： 我有一個包含 355 個特征和 8 個類輸出的數據集。 共12200條數據。 這是我的神經網絡的粗略可視化： 我決定為隱藏層 1 ...
使用小批量時累積的 pytorch 損失
[英]pytorch loss accumulated when using mini-batch
我是 pytorch 的新手。 請問添加'loss.item（）'有什么區別？ 以下2部分代碼： 和這個 如果有人有任何想法，請提供幫助。 非常感謝。 ...
PyTorch minibatch 訓練很慢
[英]PyTorch minibatch training very slow
在成人收入數據集上訓練我的 model 並使用小批量訓練時，無論我使用 PyTorch 的 DataLoader 還是小批量訓練的基本實現，都非常慢。 我的代碼有問題，還是有其他方法可以加快成人收入數據集的訓練速度？ 我想使用 one-hot 編碼和交叉熵損失 + softmax。 我是否必須使用不 ...
PyTorch Geometric 的手動小批量生成
[英]Manual mini-batch generation for PyTorch Geometric
目前我有 pytorch 張量，形狀為(batch_size, height, width, channel_size) ，我想將其轉換為此處描述的小批量。 我目前的想法是將每個示例從張量表示分別轉換為圖形表示並將它們組合在一起。 我想在不涉及文件保存/加載的情況下完成所有這些操作，因為它肯定會影響 ...
在 tensorflow 中，為什么只有一個驗證損失，而有很多 mini-batch 驗證數據？
[英]In tensorflow, why is there only one validation loss, when there are many mini-batch of validation data?
在 tensorflow 中，如果我們在.fit()中提供validation_data ，我們會得到驗證損失。 但是即使驗證數據集有很多小批量，也只有一個驗證損失。 所以我想知道 tensorflow 如何計算驗證損失。 例如： 這將給出： 當驗證數據集中有 10 個驗證小批量時，只有一個驗證損 ...
python中的線性回歸小批量梯度下降：按批量大小拆分訓練和驗證數據
[英]Linear Regression Mini-batch Gradient Descent in python: split training and validation data by batch size
我試圖按批量大小拆分訓練和驗證數據，並找到驗證 rmse。 訓練特征數據的大小是 11000。驗證特征數據的大小是 2750。但是，當我在 for 循環中使用 zip 函數時。 它將 for 循環限制在較小的范圍內，即 2750。 有誰知道我該如何解決這個問題？ 我已經卡了兩天了。 for e ...
如何在pytorch圖像處理模型中處理具有多個圖像的樣本？
[英]How to handle samples with multiple images in a pytorch image processing model?
我的模型訓練涉及對同一圖像的多個變體進行編碼，然后對圖像的所有變體的生成表示求和。 數據加載器生成以下形狀的張量批次： [batch_size,num_variants,1,height,width] 。 1對應於圖像顏色通道。 如何在 pytorch 中使用小批量訓練我的模型？ 我正在尋找一 ...
xarray.Dataset.to_array() 是否將數組加載到 memory 以及從 xarray 中采樣小批量的效率如何？
[英]Does xarray.Dataset.to_array() load the array into memory and how efficiently sample mini batches from an xarray?
我目前正在嘗試將一個大的多維數組（> 5 GB）加載到 python 腳本中。 由於我使用該數組作為機器學習 model 的訓練數據，因此以小批量有效加載數據很重要，但要避免將整個數據集加載到 memory 中一次。 我的想法是使用xarray庫。 我用X=xarray.open_datas ...
切片以創建小批量
[英]Slicing for creating Mini-batches
我打算從包含“m”個示例的訓練集中為我的深度學習神經網絡程序創建小批量。 我努力了： 但這給了我以下結果： 預期的 output 為： 我確定我已經實施但無法弄清楚的切片有問題。 任何幫助深表感謝。 謝謝！ ...
在實現小批量梯度下降時，隨機選擇訓練樣本更好嗎？
[英]When implementing mini batch gradient descent is it better to chose the training exemples randomly?
在實現小批量梯度下降時，隨機選擇訓練示例（計算導數）是否更好？ 還是將整個訓練示例洗牌然后遍歷它們並每次洗牌會更好嗎？ 第一種方法可能會導致我們跳過全局最小值。 ...
在深度強化學習中，我是計算每小批量一次損失還是每小批量輸入一次損失？
[英]Do I calculate one loss per mini batch or one loss per entry in mini batch in deep reinforcement learning?
神經網絡和 Pytorch 的新手。 我在每個小批量中有 300 個回放記憶。 我見過人們為 300 次回放記憶計算一次損失，但這對我來說並沒有什么意義。 300 個回放記憶來自非常不同的游戲狀態，為什么將預測和目標之間的 300 個差異合並為一個值是有意義的？ 當 model 反向傳播時，梯度 ...
訓練樣本成本函數與小批量成本函數的區別
[英]Difference between the cost function of a training sample and the cost function of a mini-batch
假設我有一個名為“NN”的神經網絡，它有 500 個權重和偏差（總參數 = 500）。 對於一個訓練樣本：它是通過'NN'引入的，它吐出一個輸出（Out1），將輸出與訓練標簽進行比較，通過反向傳播算法，'的每個參數都有一個小的變化（正或負） NN'。 成本函數由維度為 1x500 的向量表示，所有 ...
試圖理解 tensorflow 數據集中小批量內的 shuffle
[英]Trying to understand shuffle within mini-batch in tensorflow Dataset
從這里我明白了 shuffle、batch 和 repeat 的作用。 我正在處理醫學圖像數據，其中每個小批量都有來自一個患者記錄的切片。 我正在尋找一種在訓練時在小批量內洗牌的方法。 我無法增加緩沖區大小，因為我不希望來自不同記錄的切片混淆。 有人可以解釋一下如何做到這一點嗎？ ...