將 Beam-scores 轉儲到 HDF 文件
[英]Dumping Beam-scores to an HDF File
我有一個翻譯 model (TM)，它使用波束搜索綜合其假設。 出於分析目的，我想研究 TM 的ChoiceLayer發射的每個光束中的所有假設。 我可以使用HDFDumpLayer從 TM 的ChoiceLayer中獲取每個輸入序列的假設並將其寫入我的文件系統：'__SEARCH_dump_bea ...
加載地面事實和假設作為訓練目標
[英]Loading Ground Truth and Hypotheses as Training Target
在較早的問題（ Teacher-Student System: Training Student With k Target Sequences for Each Input Sequence ）中，我想要教師機器翻譯 (MT) model 在學生語音翻譯 (ST) model 訓練期間執行在線搜索 ...
用常數零添加額外損失 output 改變 model 收斂
[英]Adding additional loss with constant zero output changes model convergence
我已經為 NMT 設置了一個 Returnn Transformer Model，我想對每個解碼器層l上的每個編碼器/解碼器注意力頭h進行額外損失訓練（除了香草交叉熵損失），即： 對於一些標量lambda 。 我使用loss=as_is選項將注意力損失本身實現為eval -Layer，它為每個批次返 ...
師生系統：為每個輸入序列訓練具有 k 個目標序列的學生
[英]Teacher-Student System: Training Student With k Target Sequences for Each Input Sequence
這個問題與師生系統有關：Training Student with Top-k Hypotheses List 我想配置一個師生系統，其中教師 seq2seq model 生成一個前k個假設列表，用於訓練學生 seq2seq model。 我 select 來自教師的ChoiceLayer （或 o ...
師生系統：用 Top-k 假設列表訓練學生
[英]Teacher-Student System: Training Student with Top-k Hypotheses List
我想配置一個師生系統，其中教師 seq2seq model 生成一個前k個假設列表，用於訓練學生 seq2seq model。 我的計划是對教師的假設進行批處理，這意味着教師輸出一個批處理軸長度為k * B的張量，其中B是輸入批處理軸長度。 output 批張量現在包含輸入批張量中每個序列的k個假 ...
如何從檢查點加載圖層
[英]How to load a layer from checkpoint
我有這個配置： 我想從一些現有的檢查點加載層source_embed_raw的參數。 在該檢查點中， param 的調用方式不同（ output/rec/target_embed_raw/W ）。 我明白，我可以使用preload_from_files加載參數，但我不確定在我的情況下這樣做的確 ...
將參數從子網內的層重用到該子網外的層
[英]Reusing Parameters from a layer inside a subnetwork to a layer outside of that subnetwork
在我的網絡結構中，我有一層名為“輸出”的“rec”類。 在該層的“單元”中，我有幾個層，其中一個是“pivot_target_embed_raw”。 'pivot_target_embed_raw' 層將從另一個檢查點加載。 我現在也想將“pivot_target_embed_raw”的參數用於我 ...
無法使用 tf.train.import_meta_graph 導入元圖，名稱“”指的是不在圖中的操作
[英]Unable to import meta graph using tf.train.import_meta_graph, The name '' refers to an Operation not in the graph
我無法導入元圖。 即使我定義了 tf.placeholder(name="data", shape=(None,64), dtype=tf.float32)，下一層也會出現錯誤。 我也嘗試使用 tf2.0。 但同樣的問題。 重現問題的代碼 檢查點文件附加在model.zip 中。 堆棧跟 ...
從 .meta 文件加載已保存的 Tensorflow 模型
[英]Loading a saved Tensorflow model from its .meta file
我正在嘗試使用 Tensorflow 1.15 版從保存的檢查點加載 tensorflow 元圖，以將其轉換為 SavedModel 以供 tensorflow 服務。 它是一個帶有局部注意力和單向 LSTM 的語音識別模型，使用帶有 Tensorflow 后端的 Returnn 工具包實現。 我正 ...
你如何提取模型中使用的初始權重？
[英]How do you extract the initial weights used in the model?
從文檔中我發現在構建模型后，權重通過調用TFNetwork.initialize_params進行初始化。 我想知道是否有一個 API 來提取這些權重？ ...
如何在更多數據上訓練LM？
[英]How to train LM on more data?
我希望使用returnn訓練新的lm以獲得更多數據。 但是我不知道tain和dev的確切形式，例如 其次，我想知道為什么train_num_seqs等於40418260 ，而librispeech trainig數據集只有281241句子。 等待你的回答 ...
RETURNN Librispeech任務：重復使用LM和編碼器 - 解碼器模型的預訓練模型參數
[英]RETURNN Librispeech Task: reused parameters of pretrained model for both LM and encoder-decoder model
我想訓練RETURRN在LibriSpeech數據集上重用已經在git上提供的LM和編碼器解碼器的預訓練模型，但不知道該怎么做。 這可能嗎？ 我沒有看到在.config文件中啟用它的任何選項。 ...
使用多個GPU進行訓練
[英]Training using multiple GPUs
我想使用多個GPU在LibriSpeech數據集上訓練RETURRN，但不知道該怎么做。 這可能嗎？ 我看不到任何在.config文件中啟用它的選項。 ...
theano.sandbox.cuda 似乎是舊的 GPU 后端並從 Theano 中刪除
[英]theano.sandbox.cuda seems to be old GPU back-end and removed from Theano
當我嘗試在返回的 github 頁面上運行 rnn.py 時，我收到一條關於舊 GPU 后端的錯誤消息。 " https://github.com/rwth-i6/returnn " 這是錯誤消息： SkipTest：您正在導入 theano.sandbox.cuda。 這是舊的 GPU 后 ...
Returnn總機數據處理
[英]Returnn Switchboard data processing
誰能給我有關如何處理Switchboard數據集以進行RETURNN培訓的指導嗎？ 我確實看到了BlissDataset類，該類似乎是為配電盤設計的，但是我不清楚在示例中給出的路徑中應該包含什么： 總機數據集有幾個帶有音頻的文件夾，即swb1_d2 / data / *。sph和記錄本 ...
Returnn中的預培訓
[英]Pretraining in Returnn
我正在嘗試使用此配置在返回中訓練一個簡單的單向編碼器https://github.com/rwth-i6/returnn-experiments/blob/master/2018-asr-attention/librispeech/full-setup-attention/returnn.con ...
返回自定義圖層搜索模式斷言錯誤
[英]RETURNN Custom Layer Search Mode Assertion Error
我已經實現了一個自定義的RETURNN層（ HMM因數分解 ），該層在訓練期間按預期工作，但是在搜索模式下使用時會引發斷言錯誤。 該層的輸出與softmax層的輸出相同。 這是使用的配置： 變壓器+ HMM因式分解 已使用最新版本的RETURNN進行了測試。 失敗的確切行是（ ...
返回的BeamSearch解碼代碼庫
[英]BeamSearch decoding codebase in returnn
此配置示例使用了從ctc或seq2seq模型向后添加lm_score的示例用法https://github.com/rwth-i6/returnn-experiments/blob/master/2018-asr-attention/librispeech/attention/exp3.ctc. ...
NativeLstm2.so：未定義符號：sgemm_
[英]NativeLstm2.so: undefined symbol: sgemm_
嘗試運行22_train.sh時 已配置Cuda 8.0和CUDNN路徑。 ...