如何從 tensorflow/keras 中下載的 tar.gz 文件加載數據？

Question

Tensorflow datasets或tfds自動開始下載我要的數據。 我的系統中下載了 cifar10。 我可以使用以下方法直接加載 pytorch 中的數據：torchvision.datasets.CIFAR10('path/to/directory',...,download=False)

是否有 tensorflow 或 keras 等價物？

Answer 1

我認為你能做的最好的事情是首先提取 tar 文件：

import tarfile

if fname.endswith("tar.gz"):
    tar = tarfile.open(fname, "r:gz")
    tar.extractall()
    tar.close()
elif fname.endswith("tar"):
    tar = tarfile.open(fname, "r:")
    tar.extractall()
    tar.close()

然后訪問模型數據並使用 keras 加載它：

https://www.tensorflow.org/api_docs/python/tf/keras/models/load_model

Answer 2

發布另一種從本地加載文件的方式，供以后找到它的人使用。

在 URL 參數中，您提供文件的本地 URL 和路徑。 例如，我的 D 盤中有一個文件在文件夾 Workspace/DataFiles/tldr.gz 中，那么我為 URL 參數提供的值將是這樣的。

path = 'file:///D:/Workspace/DataFiles/tldr.gz'

path_to_downloaded_file = tf.keras.utils.get_file("tldr_data",path, archive_format='tar', untar=True)`

這樣 keras 識別 URL 並從文件中加載數據。