str() 不再可用於在管道執行期間獲取文本 tfx.data_types.RuntimeParameter 的真實值

[英]str() is not usable anymore to get true value of a Text tfx.data_types.RuntimeParameter during pipeline execution

如何在執行管道期間將字符串作為tfx.orchestration.data_types.RuntimeParameter的真實值？ 你好， 我正在為基本路徑定義一個運行時參數，例如data_root = tfx.orchestration.data_types.RuntimeParameter(na ...

處理 tensorflow 中的缺失值

[英]Dealing with missing values in tensorflow

我需要一些關於張量流/深度學習中歸因方法的指導。 我熟悉 scikit-learn 如何處理插補，當我將 map 應用於 tensorflow 生態系統時，我希望使用 keras 中的預處理層或 tensorflow 轉換中的函數來進行插補。 但是，至少據我所知，這些功能並不存在。 所以我有幾個問題 ...

如何可視化保存的統計神器？

[英]How to visualize a saved statistics artifact?

我知道有兩種運行 TFX 管道的方法。 首先，在瀏覽器中使用帶有InteractiveContext的 Jupyter notebook：from tfx import v1 as tfx from tfx.orchestration.experimental.interactive.intera ...

如何獲取當前管道工件的 uri

[英]How to get the uri of the current pipeline's artifact

考慮以下管道：example_gen = tfx.components.ImportExampleGen(input_base=_dataset_folder) statistics_gen = tfx.components.StatisticsGen(examples=example_gen. ...

使用 TFX 的 MLOps：使用來自 Keras 的序列時如何攝取數據？

[英]MLOps with TFX: How to ingest data when using Sequence from Keras?

我正在使用一個名為DataGenerator的 class ，它返回一個元組(data_array, label_array) ，代碼如下： 這個 class 從.csv文件列表中使用，如下圖所示： 每個文件都包含這樣一列： 但是這些文件非常龐大，每一個都代表着每一個實例的數據。 問題是我不明白 ...

如何在保持屬性比率固定的情況下將數據集拆分為多個折疊

[英]How to split the dataset into mutiple folds while keeping the ratio of an attribute fixed

假設我有一個具有多個輸入特征和一個 output 的數據集。為了簡單起見，假設 output 是二進制的。 要么是零，要么是一。 我想將此數據集拆分為k個部分，並使用 k 折交叉驗證 model 來學習從輸入特征到 output 的映射。 如果數據集不平衡，則 output 0和1的記錄數之間的比率 ...

如果我們有 airflow 用於編排，為什么我們需要 TFX

[英]Why we need TFX if we have airflow for orchestration

我仍然不明白為什么我們需要 TFX。 TFX 會將您定義的管道轉換為 Airflow DAG 並在 airflow 上運行它，我可以在 python 中編寫我的管道並直接使用 Airflow 的 PythonOperator 來構建管道嗎？ 為什么還要在上面學習另一個包裝器？ TFX 還提供了 ...

RuntimeError: Split pattern data/* 不匹配任何文件

[英]RuntimeError: Split pattern data/* does not match any files

我目前正在嘗試將TFX-TFRS 教程轉換為 Airflow 管道。 當我使用 LocalDagRunner() 運行此管道時，它執行時不會出錯。 當我使用 AirflowDagRunner() 時，它會引發以下錯誤（通過 Airflow Web-UI 觸發 Airflow 管道）： Run ...

ml_metadata.errors.AlreadyExistsError：給定節點已經存在

[英]ml_metadata.errors.AlreadyExistsError: Given node already exists

我在使用 TFX、MLMD 和 Apache-Airflow 作為編排器時遇到了問題。 由 TFX 提供的 Local-dag-runner 工作正常，導致每個管道組件運行時產生不同的工件。 當 airflow 用作編排器時，就會出現問題。 如果您只是重新運行管道而不對代碼進行任何更改，則管道運行時 ...

TFX 教程“penguin_tfdv.ipynb”問題 TypeCheckError

[英]TFX tutorial "penguin_tfdv.ipynb" issue TypeCheckError

我有這個問題。 我該如何解決這個問題？ 這是 TFX 教程的一部分。 鏈接到教程 我在示例代碼中沒有更改任何內容。 ...

TFX 導致 TypeCheckError：WriteStatsOutput[train] 處的輸出類型提示違規：預期<class 'apache_beam.pvalue.PDone'> ， 得到<class 'str'>

[英]TFX results in TypeCheckError: Output type hint violation at WriteStatsOutput[train]: expected <class 'apache_beam.pvalue.PDone'>, got <class 'str'>

我嘗試運行 tfx 文檔中提供的教程，但我遇到了元數據路徑的問題。 我已在本期https://github.com/tensorflow/tfx/issues/4993中詳細描述了該查詢。 我使用的文檔是https://www.tensorflow.org/tfx/tutorials/tfx/p ...

Vertex 工作台 - 如何在 Jupyter 筆記本中運行 BigQueryExampleGen

[英]Vertex workbench - how to run BigQueryExampleGen in Jupyter notebook

問題 嘗試在 腳步 BigQueryExampleGen設置 GCP 項目和交互式 TFX 上下文。 運行 BigqueryExampleGen。 得到錯誤。 數據 請參閱mlops-with-vertex-ai/01-dataset-management.ipynb為 CThe ...

TF Serving Predict API 輸出解釋

[英]TF Serving Predict API Output Interpretation

TensorFlow Serving (TFS) Predict API 輸出是否與 tf.keras.model.predict 方法相同（即模型根據編譯指標的輸出）？ 例如，如果我們有一個使用 BinaryAccuracy 指標編譯的 tf.keras.model，那么 TFS 預測 API ...

TFX（Tensorflow Extended）是否在大公司中使用

[英]is TFX (Tensorflow Extended) being used in big companies

我最近偶然發現了 tensorflow 擴展，我終於開始了解它的需求和用途。 它使整個機器學習管道變得更加容易，並且看起來可以用於自動化任務。 想問一下這個領域的前輩，大公司在用嗎，是被廣泛使用還是會被淘汰 謝謝 ...

張量流 TFX 管道中的圖像處理

[英]Image processing in Tensor flow TFX pipelines

我正在嘗試使用 MNIST 數據集啟動並運行 Tensorflow TFX 管道。 # Imports import pandas as pd import numpy as np from keras.datasets import mnist import tensorflow as tf fr ...

對 nvidia triton 使用字符串參數

[英]Using String parameter for nvidia triton

我正在嘗試在 Triton 推理服務器上部署一個簡單的模型。 它加載得很好，但我無法格式化輸入以執行正確的推理請求。 我的模型有一個像這樣設置的 config.pbtxt 我嘗試使用非常簡單的 python 代碼來設置這樣的輸入數據（輸出未寫入但設置正確） 但我不斷收到相同的錯誤消息 ...

TFX - 什么是 example_gen_pb2 以及它記錄在何處？

[英]TFX - What is example_gen_pb2 and where is it documented?

ExampleGen TFX 管道組件具有使用example_gen_pb2的示例代碼，但它是什么以及記錄在哪里？ ...

TFX - 如何檢查來自 CsvExampleGen 的記錄

[英]TFX - How to inspect records from CsvExampleGen

問題 如何檢查加載到 TFX CsvExampleGen 中的數據？ CSV california_housing_train.csv的前 3 行如下所示。 經度 緯度 住房中位數年齡 total_rooms total_b ...

TFX 管道是否支持在 TPU 上進行訓練？

[英]Do TFX pipelines support training on TPUs?

我是 TFX 新手，我想知道是否可以創建一個 TFX 管道，該管道可以使用 TPUClusterResolver 中的 TPUStrategy 在 TPU 節點上訓練 Keras 模型。 查看 TFX 文檔，我不清楚這是否可能。 對此的任何反饋將不勝感激！ 謝謝！ 注意：我使用的是 TF v2 ...

將保留標記添加到“tft.vocabulary”

[英]Add reserved tokens to `tft.vocabulary`

我想將 append 個單詞添加到tft.vocabulary創建的詞匯表中，這些詞匯不是訓練樣本的一部分（即&lt;mask&gt;和&lt;pad&gt;標記）。 我在文檔中看到tft.vocabulary function 可以接受一個參數key_fn文檔說： 如果您想生成覆蓋特定鍵的詞匯表 ...