失敗 ONNX InferenceSession ONNX model 從 PyTorch 導出

Question

我正在嘗試將自定義 PyTorch model 導出到 ONNX 以執行推理，但沒有成功......這里的棘手問題是我正在嘗試使用基於腳本的導出器，如此處的示例 所示，以便從 ABC1 調用 ZC1C425268E6873984D1我的 model。

我可以毫無怨言地導出 model 但是在嘗試啟動InferenceSession時出現以下錯誤：

Fail: [ONNXRuntimeError] : 1 : FAIL : Load model from ner.onnx failed:Type Error: Type parameter (T) bound to different types (tensor(int64) and tensor(float) in node (Concat_1260).

我試圖確定該問題的根本原因，它似乎是通過在以下 function 中使用torch.matmul()生成的（非常討厭，因為我試圖只使用 pytorch 運算符）：

@torch.jit.script
def valid_sequence_output(sequence_output, valid_mask):
    X = torch.where(valid_mask.unsqueeze(-1) == 1, sequence_output, torch.zeros_like(sequence_output))
    bs, max_len, _ = X.shape

    tu = torch.unique(torch.nonzero(X)[:, :2], dim=0)
    batch_axis = tu[:, 0]
    rows_axis = tu[:, 1]

    a = torch.arange(bs).repeat(batch_axis.shape).reshape(batch_axis.shape[0], -1)
    a = torch.transpose(a, 0, 1)

    T = torch.cumsum(torch.where(batch_axis == a, torch.ones_like(a), torch.zeros_like(a)), dim=1) - 1
    cols_axis = T[batch_axis, torch.arange(batch_axis.shape[0])]

    A = torch.zeros((bs, max_len, max_len))
    A[(batch_axis, cols_axis, rows_axis)] = 1.0

    valid_output = torch.matmul(A, X)
    valid_attention_mask = torch.where(valid_output[:, :, 0] != 0, torch.ones_like(valid_mask),
                                       torch.zeros_like(valid_mask))
    return valid_output, valid_attention_mask

似乎不支持torch.matmul （根據文檔）所以我嘗試了一堆解決方法（例如A.matmul(X) ， torch.baddbmm ）但我仍然遇到同樣的問題......

有關如何解決此行為的任何建議都很棒：D 感謝您的幫助！

Answer 1

這指向 model 轉換問題。 請針對 Torch 導出器功能打開一個問題。 類型 (T) 必須綁定到相同類型才能使 model 有效，而 ORT 基本上是在抱怨這一點。