如何在 tensorflow 中的普通本地机器上加载 nsynth 数据集？

Question

赏金将在 23 小时后到期。 此问题的答案有资格获得+50声望赏金。 GBDev想提请更多人关注这个问题。

我一直在尝试加载 NSynth 数据集，以便在我的本地计算机上使用 tensorflow。 Google Collab 非常强大，但据我所知并不能真正用于编写完整的 python 应用程序。

但是，当使用普通命令时

ds = tfds.load('nsynth', split='train', shuffle_files=False, download=True,
                data_dir="data")

数据下载正常，但脚本意外结束，似乎是由于磁盘空间不足，尽管在运行脚本之前有超过 250GB 的可用空间，并且数据集不大于此。

我不确定磁盘空间是否是问题所在，因为脚本在 30 分钟左右后静默失败，并且没有用于加载 function 的详细选项。

如何在不释放更多空间的情况下在本地加载它？

Answer 1

如果您在通过 tfds.load 下载/解压文件时遇到问题，我强烈建议您通过以下方式在本地下载它们：

https://magenta.tensorflow.org/datasets/nsynth#files

这里可以选择自己需要的package，自己在本地解压。

Answer 2

这可能有效，这将首先下载数据，然后您可以将其加载到 memory 中。

nsynth_builder = tfds.builder('nsynth')
nsynth_builder.download_and_prepare(download_dir = "/content/dataset/")

现在，使用.as_dataset()方法将此数据转换为tf 数据集。

nsynth_builder.as_dataset()