如何加载多个训练和有效性数据来训练和验证 keras 模型

Question

我将训练数据和有效性数据都存储在 train_data 和 valid_data 文件夹中。在这两个文件夹中，数据都存储在 .npz 文件中。 每个 .npz 文件都包含相同形状的目标和标签数据 =(1024,28)（例如 target=tu.npz['data1'] 和 label=tu.npz['data2']。我想将它们加载到以类似于 ImageDataGenerator 的方式创建 Keras 模型并希望训练和验证模型，所以我编写并尝试了不同的自定义生成器，但它不起作用，这是我的代码。我希望有人能帮助我。谢谢。

def tf_train_generator(file_list, batch_size = 1):
    i = 0
    while True:
        if i*batch_size >= len(file_list):  
            i = 0
            np.random.shuffle(file_list)
        else:
            file_chunk = file_list[i*batch_size:(i+1)*batch_size]
            print(len(file_chunk))      


            for file in file_chunk:
                print(file)
                temp = np.load(file)

               
                X = temp['data1']
               
                Y= temp['data2']  


               
                i = i + 1
                yield X, Y

Answer 1

将 (i = i + 1 and yield X, Y) 移出 for 循环。

    i= 0
    def tf_train_generator(file_list, batch_size = 1):
        global i
        while True:
            if i*batch_size >= len(file_list):  
                i = 0
                np.random.shuffle(file_list)
            else:
                file_chunk = file_list[i*batch_size:(i+1)*batch_size]
                print(len(file_chunk))      
    
    
                for file in file_chunk:
                    print(file)
                    temp = np.load(file)
    
                   
                    X = temp['data1']
                    Y= temp['data2'] 
                   
            i = i + 1
            yield X, Y