讀取張量流中的大數據集

Question

我不太確定文件隊列是如何工作的。 我試圖使用像imagenet這樣的大型數據集作為輸入。 所以預加載數據不是這樣的，所以我想知道如何使用文件隊列。 根據教程，我們可以將數據轉換為TFRecords文件作為輸入。 現在我們有一個大的TFRecords文件。 因此，當我們為閱讀器指定FIFO隊列時，是否意味着程序每次都會獲取一批數據並提供圖形而不是加載整個數據文件？

Answer 1

預取的數量取決於您的隊列容量。 如果使用string_input_producer作為文件名和batch批處理，則將有2個隊列 - 文件名隊列和批處理創建的預取隊列。 batch創建的隊列的默認容量為32 ，由batch(...,capacity=)參數控制，因此最多可以預取32圖像。 如果您按照TensorFlow官方howto的大綱進行操作，處理示例（ batch后的所有內容）將在主Python線程中發生，而填充隊列將發生在由batch/start_queue_runners創建/啟動的線程中，因此預取新數據並運行預取數據通過網絡將同時發生，當隊列變滿或空時阻塞。