將 pytorch model 轉換為 Coreml 時出錯。 層有 1 個輸入，但預計至少有 2 個

Question

我的目標是將我的 Pytorch model 轉換為 Coreml。 我對 pytorch 進行推理沒有問題。 但是，在我跟蹤我的 model 並嘗試轉換它之后

trace = torch.jit.trace(traceable_model, data)
mlmodel = ct.convert(
            trace,
            inputs=[ct.TensorType(name="Image", shape=data.shape)])

我收到以下Error compiling model: "Error reading protobuf spec. validator error: Layer 'cur_layer_input.1' of type 925 has 1 inputs but expects at least 2." 我的 model 中有一個 ConvLSTM 層，帶有一個cur_layer 。 這是里面的東西。

class ConvLSTM(nn.Module):

    def __init__(self, input_size, input_dim, hidden_dim, kernel_size, num_layers,
                #I cut out some of the init
        for i in range(0, self.num_layers):
            cur_input_dim = self.input_dim if i == 0 else self.hidden_dim[i - 1]
            cell_list.append(ConvLSTMCell(input_size=(self.height, self.width),
                                          input_dim=cur_input_dim,
                                          hidden_dim=self.hidden_dim[i],
                                          kernel_size=self.kernel_size[i],
                                          bias=self.bias))
        self.cell_list = nn.ModuleList(cell_list)
    def forward(self, input_tensor, hidden_state=None):
        if not self.batch_first:
            # (t, b, c, h, w) -> (b, t, c, h, w)
            input_tensor=input_tensor.permute(1, 0, 2, 3, 4)
        # Implement stateful ConvLSTM
        if hidden_state is not None:
            raise NotImplementedError()
        else:
            hidden_state = self._init_hidden(batch_size=input_tensor.size(0))

        layer_output_list = []
        last_state_list = []
        seq_len = input_tensor.size(1)
        cur_layer_input = input_tensor
        for layer_idx in range(self.num_layers):
            h, c = hidden_state[layer_idx]
            output_inner = []
            for t in range(seq_len):
                h, c = self.cell_list[layer_idx](input_tensor=cur_layer_input[:, t, :, :, :],
                                                 cur_state=[h, c])
                output_inner.append(h)

            layer_output = torch.stack(output_inner, dim=1)
            cur_layer_input = layer_output

            layer_output = layer_output.permute(1, 0, 2, 3, 4)

            layer_output_list.append(layer_output)
            last_state_list.append([h, c])

        if not self.return_all_layers:
            layer_output_list = layer_output_list[-1:]
            last_state_list = last_state_list[-1:]

        return layer_output_list, last_state_list

我不太明白需要為 2 的輸入在哪里。

Answer 1

coremltools 轉換器通常會忽略他們不理解的 model 部分。 這導致轉換顯然成功，但實際上錯過了 model 的某些部分。