使用滑动 windows + 批处理训练时拆分数据集的正确方法

Question

我有一个sequence to sequence的问题，两个pd.DataFrame大小完全相同。 每个 DataFrame 的每一行长度为 5000，我有数千对这样的信号。

我想通过以下方式使用tf API 训练 model：

1. 拳头将每个pd.DataFrame分成批次。 当然，对于每个批次，行应该是相同的。
2. 对于从 1 开始的批次，在5000点信号上滑动window-size=50的 window。 对于每个 window do step 。
   应为num_epochs重复上述过程。

我发现对于（1）我可以使用以下代码：

df_combined = pd.concat([df1,df2],axis=1)
df_combined_sliced = tf.data.Dataset.from_tensor_slices(df_combined.to_dict(orient="list"))

for batch in df_combined_sliced:
  # turn into table again
  df_combined_batch = pd.DataFrame(batch)
  df1_batch = df_combined_batch.iloc[:,df1_cols]
  df2_batch = df_combined_batch.iloc[:,df2_cols]

但我猜测在管道中使用pd.DataFrame效率低下。

其次，我发现对于（2）我可以使用tf.keras.utils.timeseries_dataset_from_array 。 它只能为测试集返回一个时间点，因此，我只使用它来采样时间点，然后将其用作批处理数据的掩码。 有没有更快的方法来做到这一点？

谢谢！