[英]How to use inputs in custom loss function with y_true and y_pred available
我在 tensorflow 中構建了一個自動編碼器,它接受一個帶有缺失值 (-999.) 的輸入,然后將其屏蔽。 目標/標簽是輸入的干凈版本,沒有缺失值。 model是這樣的: 我想在我的損失 function 中包含一個權重,以便放大缺失值的錯誤。 這個想法是嘗試鼓勵 model 更好地預測缺失 ...
[英]How to use inputs in custom loss function with y_true and y_pred available
我在 tensorflow 中構建了一個自動編碼器,它接受一個帶有缺失值 (-999.) 的輸入,然后將其屏蔽。 目標/標簽是輸入的干凈版本,沒有缺失值。 model是這樣的: 我想在我的損失 function 中包含一個權重,以便放大缺失值的錯誤。 這個想法是嘗試鼓勵 model 更好地預測缺失 ...
[英]Analysing features of text in tensorflow
我對 TensorFlow 和自動編碼器的想法比較陌生,但我正在嘗試為文本創建一個自動編碼器,我不想編寫這段代碼,因為它會逐個標記地測量。 這段代碼並不理想,因為它試圖一段一段地重建文本,這對於圖像來說很好,但對於文本卻不行,因為它依賴於它之前的內容。 有沒有辦法讓神經網絡比較 output 和輸入 ...
[英]Keras - ValueError: Could not interpret loss function identifier
我正在嘗試構建這篇IEEE 文章中詳述的自動編碼器結構。 自動編碼器使用可分離損失 function,其中要求我為可分離損失 function 的“簇損失”項創建自定義損失 function 作為編碼器平均 output 的 function。 我創建了自己的名為 RffConnected 的層,用 ...
[英]Can I use the output of tf.keras.utils.image_dataset_from_directory to train an autoencoder?
簡而言之,我希望能夠使用從本地圖像目錄創建的 keras 數據集來訓練自動編碼器。 澄清一下,這是一個 model,它近似於圖像的身份 function:理想情況下,output 與輸入完全相等。 數據集太大,無法放入 memory,因此使用 np.concatenate 將數據集轉換為 nump ...
[英]Constantly separated validation & training losses
我已經使用自動編碼器工作了幾個星期了,但是當涉及到我對整體損失的理解時,我似乎遇到了困難。 我面臨的問題是,當嘗試對我的 model 實施 Batchnormalization 和 Dropout 層時,我得到了沒有收斂的損失和糟糕的重建。 典型的損失 plot 是這樣的: 我使用的損失是帶有 M ...
[英]What is the purpose of having the same input and output in PyTorch nn.Linear function?
我認為這是一個理解問題,但我將不勝感激任何幫助。 我正在嘗試學習如何使用 PyTorch 進行自動編碼。 在nn.Linear function中,指定了兩個參數, nn.Linear(input_size, hidden_size) 當將張量重塑為其最小有意義的表示時,就像在自動編碼中所做的那樣 ...
[英]The function for tensor value generates this Error: 'false_fn' must be callable
我正在創建一個 function,它采用張量值並通過應用以下公式返回結果,有 3 個條件,所以我使用 @tf.functions。 該代碼生成以下錯誤: “false_fn”必須是可調用的。 我做了很多轉換,int 到 float 和 float 到 int 但不知道是什么問題。 ...
[英]Pytorch convolutional Autoencoder
您好我有一個項目,我需要創建一個在 MNIST 數據庫上訓練的卷積自動編碼器,但我的限制是我不能使用池化。 我的嵌入暗淡是 16,我需要一個 256 * 16 * 1 * 1 張量作為我的編碼器的 output。 我寫了以下 class 來定義我的編碼器: 但是當我嘗試訓練 my.network 時 ...
[英]Generating new data using VAE in keras
這個賞金已經結束了。 此問題的答案有資格獲得+100聲望賞金。 賞金寬限期在15 小時后結束。 quant正在從信譽良好的來源尋找答案: 我期待接受的答案能夠清楚地解決上述所有問題我構建了以下 function,它將一些數據作為輸入並在其上運行 VAE: 在哪里 我的問題是,如果我想生成新數據, ...
[英]ML model fit with training data outperforms model fit with generator
我的最終目標是通過將數據生成器輸入到 keras API 中的擬合方法來擬合 ML 自動編碼器。但是,我發現與生成器擬合的模型不如與原始數據本身擬合的模型。 為了證明這一點,我采取了以下步驟: 定義數據生成器以創建一組可變阻尼正弦波。 重要的是,我將生成器的批量大小定義為等於整個訓練數據集。 通過這 ...
[英]Strange error: TypeError: forward() takes 2 positional arguments but 3 were given
我正在嘗試訓練 VAE model。但是我不斷收到以下錯誤: 我嘗試了 arguments 的多種組合,但似乎沒有任何效果。 你能發現錯誤嗎? 正如您在下面的 model 中看到的,前向 function 在 train() function 中被調用,只有兩個 arguments 而不是 3。錯 ...
[英]Neural Net with batch size 1 and one input at a time
我嘗試了一個非常簡單的自動編碼器,3 個輸入,一層有 2 個神經元,輸出有 3 個。只是數字 如果所有樣本(100 個)都是輸入並且具有 200 個歷元,則該方法有效。 但是一次喂一個樣本是行不通的。 像這樣: 將單個樣本輸入神經網絡有那么糟糕嗎? 非常感謝您的幫助。 ...
[英]How to classify images with Variational Autoencoder
我已經在標記圖像 (1200) 和未標記圖像 (4000) 中訓練了一個自動編碼器,並且我分別保存了兩個模型(vae_fake_img 和 vae_real_img)。 所以我想知道下一步該怎么做。 我知道變分自動編碼器對分類任務沒有用,但特征提取似乎是一個很好的嘗試。 所以這是我的嘗試: 使用來自 ...
[英]Why VAE Encoder outputs log variance and not standard deviation?
在談論VAE (並查看VAE實現)時,編碼器輸出: μ, log(方差) 當我們訓練 model( decoder model)時,我們將對log(variance)轉換為標准差: (我從這里拿了例子: https://github.com/AntixK/PyTorch-VAE/blob/ma ...
[英]Why VAE model in pytorch doesn’t use torch.nn.KLDivLoss?
我看到了幾個 VAE 實現的例子。 在 VAE 中,我們使用兩部分的損失:MSE 和 KLDivLoss 在我看到的所有示例中,他們在自己的實現中都寫了 VAE 損失(MSE+KL 損失)並且沒有使用: torch.nn.KLDivLoss 一個例子可以在這里找到: https://github. ...
[英]Does data imputation impose any change to data structure?
有誰知道數據插補是否會改變數據框的結構? 我正在運行一個深度模型,它工作得很好,但是一旦我估算數據它就停止工作了! 我嘗試了兩種方法 1- 平均插補 2- KNN 插補 ...
[英]Got TypeError when adding return_indices=True to nn.MaxPool2d in pytorch
我是 pyotch 的新手,我正在嘗試在 pytorch 中創建一個自動編碼器,這是我的代碼編碼器:# B = Batch size # encoder (B, 3, 224, 224) => (B, 8) class Encoder(nn.Module): def __init__ ...
[英]PyTorch - scaling data for training and then rescaling results back
我正在使用 pytorch 開發自動編碼器網絡。 我有一個包含 10 列的行數據集,每列包含大約 [-0.2, 0.2] 中的值。 由於我知道所有用於自動數據准備的內置函數都適用於圖像和其他數據類型,我假設我必須自己將它們重新縮放到 [0, 1] 范圍內,訓練網絡,然后將每個結果縮放回原始數據集的大 ...
[英]Code a tensor view layer in nn.sequential
我有一個sequential容器,我想在里面使用Tensor.view函數。 因此,我當前的解決方案如下所示: 在我的AutoEncoder類中,我有: 有沒有辦法直接在sequential塊中重塑張量,這樣我就不需要使用外部創建的Reshape類? 謝謝 ...
[英]RGB Autoencoder outputs blank images
我正在做一項大學作業,作業是制作一個降噪自動編碼器來編碼和解碼帶有噪聲的圖像。 我已經正確地實現了一切,但是當試圖預測它輸出白色圖像時。 圖層: 加載數據: 適合並預測: 輸出: ...