標簽[tensorflow-datasets] - 堆棧內存溢出

[英]TensorFlow dataset with multi-dimensional Tensors from a CSV file

有沒有辦法，如果是，它是什么，從 CSV（或其他格式輸入）文件加載具有多維特征張量的 TensorFlow 數據集？例如，我的 CSV 輸入如下所示：我想從這樣的文件中加載數據集，例如獲取批次為：上面的代碼片段不完整並且不起作用。有沒有辦法以圖示的形式獲取數據集？如果是，是否可以針對整個 ...

如何使用 tensorflow 將數據集拆分為圖像和標簽

[英]How to split dataset to images and labels using tensorflow

我使用 tensorflow.keras.preprocessing.image_dataset_from_directory() 導入圖像數據集：我試圖將數據集拆分為圖像和標簽，但是我做不到。有沒有一種方法可以將火車拆分為 train_images 和 train_labels？ ...

在 python 中使用 MapDataset 在訓練/驗證中拆分我的數據集

[英]Split my dataset in train/validation using MapDataset in python

大家好我在詳細說明圖像和標簽之后遇到了一個問題。為了創建一個獨特的數據集，我使用了 zip function。經過詳細說明，圖像和標簽都是 18k 並且是正確的，但是當我調用 zip(image,labels) 時，項目變為 563。這里有一些代碼可以讓你理解：我看不出錯誤在哪里。你能幫我嗎？ ...

Keras 輸入過程與 DataFrame 可變長度字符串列表

[英]Keras input process with DataFrame variable length list of strings

我正在嘗試構建一個采用順序特征和標量特征的 TF/Keras model。訓練數據來自Pandas DataFrame。一個例子的順序特征可以被認為是DataFrame的一列下的字符串（或不同長度的單詞）列表。單詞本身可以看作是分類的，唯一的數量字數有限。我想知道處理此類數據的正確順序和方法是什 ...

Tensorflow 加載排名時的推薦錯誤 model 預測

[英]Tensorflow Recommender error on loaded ranking model predictions

我有一個排名 model，由 Tensorflow Recommender 制作。當我和他一起做預測時，一切正常。如果我保存並加載它，當使用加載的 model 進行預測時，我得到一個錯誤。請在下面查看我的 model 和我得到的錯誤排名model：預測與原來的model 輸出：我保存 mo ...

如何將數據拆分為 x_train 和 y_train

[英]How to split data into x_train and y_train

我正在嘗試從這里訪問 EMNIST 數據： https://www.tensorflow.org/datasets/splits 使用此代碼： train_ds, test_ds = tfds.load('emnist', split=['train', 'test'], shuffle_fil ...

如何將 tf.data.dataset object 加載到自動編碼器中？

[英]How can I load tf.data.dataset object into an autoencoder?

幾周來我一直在為這個問題而苦苦掙扎......我或多或少地嘗試重現這段代碼： https://github.com/mostafaibrahim17/Whole-Image-Slides-Unsupervised-Categorization/blob/master/Autoencoders/Co ...

將 Pandas Dataframe 轉換為 GluonTS 的數據集（Tensorflow 數據集）

[英]Convert Pandas Dataframe to dataset for GluonTS (Tensorflow Dataset)

給定以下形式的 pandas dataframe “df_train”：我想將其轉換為數據集以在 GluonTS 的預測中使用。這里的主要問題是“feat_dynamic_real”列，稍后我想在 GluonTS model 中將其用作外生變量。我嘗試使用 tensor_slicer 轉換 ...

如何將此代碼從 Tensorflow 版本 1 轉換為版本 2？

[英]How do I convert this code from Tensorflow version 1 to version 2?

我正在嘗試在 tensorflow 上運行之前使用 MNIST 數據集在 tensorflow 版本 1 上編寫的代碼，但我不斷收到錯誤消息，因為某些命令與我當前正在運行的 tensorflow 版本 2 不兼容。我的問題是如何在 tensorflow 版本 2 中重寫此代碼，以便獲得與下面相同 ...

在圖形執行時將 tf.dense 張量轉換為 tf.one_hot 張量 Tensorflow

[英]convert tf.dense Tensor to tf.one_hot Tensor on Graph execution Tensorflow

TF版本：2.11 我嘗試使用 TFRecords tf.data 管道訓練一個簡單的 2 輸入分類器我無法將僅包含標量的tf.dense 張量轉換為tf.onehot 向量映射 function： output：但是我確信 label 在這個張量中，因為當急切地運行它時我得到 outp ...

Tensorflow Recommenders建立檢索索引出錯

[英]Error on building the retrieval index in Tensorflow Recommenders

我正在使用來自 Tensorflow Recommenders 的 BruteForce 候選數據集如下所示：但是當我嘗試建立檢索索引時我收到以下錯誤：我認為我的數據集有問題，它是從字典創建的。我應該如何傳遞候選人數據集，以免出現錯誤？ ...

在張量流數據集中用 nan 刪除行

[英]deleat row with nan in a tensorflow dataset

有一種方法可以像張量數據集中的熊貓一樣，用這樣的 nan 刪除行？？？我的測試例子是：這必須在洗牌后完成。 ...

使用tf.data.Dataset直接形成.npz文件

[英]Use tf.data.Dataset direct form .npz file

我有115GB.npz文件。可以直接從此文件創建 tf.data.Dataset 嗎？根據： https ://www.tensorflow.org/tutorials/load_data/numpy 第一步是將文件加載到 np 數組中： np_arr = np.load(path)需要大量 R ...

從 GCS 下載 Tensorflow 數據集 (MOVi)

[英]Downloading a Tensorflow Dataset (MOVi) from GCS

我想將 Kubric ( https://github.com/google-research/kubric/tree/main/challenges/movi ) 實現的 MOVi 數據集下載到磁盤。根據 Kubric 的文檔，我們可以簡單地通過以下方式訪問數據ds, info = tfds. ...

無法在 macOS M1 Pro 芯片上運行 Tensorflow

[英]Can't get Tensorflow working on macOS M1 Pro Chip

我一直在嘗試進入 ML，我想學習它的課程，但它需要 Tensorflow，我一直在努力讓它在我的系統上運行。我有配備 M1 Pro 芯片的 2021 14" 16GB Macbook Pro，我正在運行 Ventura 13.1。我一直在關注這篇文章，並深入研究如何讓 Tensorflow 在 ...

fit 方法中如何處理 tensorflow.data.Dataset 加載？

[英]How is tensorflow.data.Dataset loading handled in the fit method?

我想知道當我有一個tf.data.Dataset並使用Keras的 fit 方法時，CPU RAM 和 GPU 內存之間的數據加載和數據傳輸是如何處理的。是否一次傳輸一批數據，然后對該批數據進行前向和反向傳播，然后將新的一批數據從 CPU RAM 發送到 GPU 內存？我知道在 Keras 的 ...

通過查找將 tf.Tensor 從一個 int 值轉換為另一個

[英]Converting a tf.Tensor from one int value to another via lookup

我有以下標簽： [15, 76, 34] 。我正在嘗試使用map map function 使它們成為tf.data.Dataset中的[0, 1, 2] 。所以我需要一個可以執行以下操作的 function：def relabel(label: tf.Tensor) -> tf.Tens ...

將 Numpy 文本數組轉換為 tf.data.Dataset

[英]Converting Numpy text array to tf.data.Dataset

我有 2 個形狀為 (2000,) 的 numpy 和 arrays，其中每個元素都是一個包含單詞作為項目的列表。因此每個列表都是一個句子。另一個 nd 數組只是二進制標簽。我想將其轉換為 tensorflow 數據數據集，其中每個項目都是帶有 label 的句子。我試過：但我得到：這 ...

如何保存 ParallelMapDataset？

[英]How to save ParallelMapDataset?

我有一個輸入數據集（我們將其命名為 ds），一個 function 傳遞給編碼器（名為embedder的模型）。我想制作一個編碼數據集並將其保存到文件中。我試圖做什么：轉換器 function：轉換：保存：但我對embedding_ds有疑問，它不是tf.data.Dataset （我 ...

Tensorflow 數據集按字符串鍵分組

[英]Tensorflow dataset group by string key

我有一個 tensorflow 數據集，我想按鍵分組。但是，我的鍵是字符串而不是整數，我不能這樣做：person_tensor = tf.constant(["person1", "person2", "person1", "person3", "person3"]) value_tensor = ...