在 SageMaker 上將 AWS Glue output 文件讀入 TensorFlow 批量轉換的正確方法是什么

Question

我有一個將 a.out 文件輸出到 S3 的膠水作業。 該文件的格式適用於在 SageMaker 上訓練 TensorFlow model（使用腳本模式），但是在運行批量轉換時我很難解析這些數據。

我正在按照推薦的首選 inference.py 腳本方法使用 input_handler 和 output_handler 函數，但我不確定是否應該將 .out 文件視為 application/json 或 text/csv 或其他完全。

inference.py 文件示例： https://github.com/awslabs/amazon-sagemaker-examples/blob/master/sagemaker_batch_transform/tensorflow_cifar-10_with_inference_script/code/inference.py

Answer 1

input_handler 應該做什么取決於.out 文件的數據格式。

批量轉換獲取 that.out 文件中的數據，將其放入 HTTP 請求的請求負載中，並將該請求發送到input_handler 。 例如，如果 your.out 文件是行分隔的 JSON，則 input_handler 應該從請求中讀取數據，就像從文件中讀取相同數據一樣。

批處理還可以按某些字符拆分數據並將塊或單個記錄發送到 model 服務器，在這種情況下，您的 input_handler 將處理這些單獨的塊或記錄。

如果您知道 your.out 格式的數據格式，則可以從處理程序中省略內容類型。 內容類型是批量轉換添加到請求中的字符串，讓 model 服務器根據數據格式切換它的功能，但該字符串的含義（無論是“application/json”還是“application/foo”）不更改 Batch 或 model 服務器的行為。