如何加載多個訓練和有效性數據來訓練和驗證 keras 模型

Question

我將訓練數據和有效性數據都存儲在 train_data 和 valid_data 文件夾中。在這兩個文件夾中，數據都存儲在 .npz 文件中。 每個 .npz 文件都包含相同形狀的目標和標簽數據 =(1024,28)（例如 target=tu.npz['data1'] 和 label=tu.npz['data2']。我想將它們加載到以類似於 ImageDataGenerator 的方式創建 Keras 模型並希望訓練和驗證模型，所以我編寫並嘗試了不同的自定義生成器，但它不起作用，這是我的代碼。我希望有人能幫助我。謝謝。

def tf_train_generator(file_list, batch_size = 1):
    i = 0
    while True:
        if i*batch_size >= len(file_list):  
            i = 0
            np.random.shuffle(file_list)
        else:
            file_chunk = file_list[i*batch_size:(i+1)*batch_size]
            print(len(file_chunk))      


            for file in file_chunk:
                print(file)
                temp = np.load(file)

               
                X = temp['data1']
               
                Y= temp['data2']  


               
                i = i + 1
                yield X, Y

Answer 1

將 (i = i + 1 and yield X, Y) 移出 for 循環。

    i= 0
    def tf_train_generator(file_list, batch_size = 1):
        global i
        while True:
            if i*batch_size >= len(file_list):  
                i = 0
                np.random.shuffle(file_list)
            else:
                file_chunk = file_list[i*batch_size:(i+1)*batch_size]
                print(len(file_chunk))      
    
    
                for file in file_chunk:
                    print(file)
                    temp = np.load(file)
    
                   
                    X = temp['data1']
                    Y= temp['data2'] 
                   
            i = i + 1
            yield X, Y