有没有一种简单的方法可以访问谷歌 ViT model 的预训练权重？

Question

我正在做一个使用 ViT 的项目。 我听说他们需要大量的预训练才能击败 CNN，所以我想使用 Google 的预训练权重并将它们加载到 Keras model 中。但是，看起来没有简单的方法可以做到这一点，我做不到在 google 的 github 上找到 model 权重。如果我不能让它工作，我可能会尝试使用 Hugging Face model。

Answer 1

所以我找到了这个github repo ，它允许你加载 model 的预训练权重。在文档中还有一个用于微调的片段。 像这样：

image_size = 224
model = vit.vit_l32(
    image_size=image_size,
    activation='sigmoid',
    pretrained=True,
    include_top=True,
    pretrained_top=False,
    classes=200
)
# Train this model on your data as desired.