Vision Transformer（基础尺寸模型）用MAE预训练

Vision Transformer（ViT）模型使用MAE方法进行预训练。该模型由Kaiming He、Xinlei Chen、Saining Xie、Yanghao Li、Piotr Dollár、Ross Girshick在论文 Masked Autoencoders Are Scalable Vision Learners 中介绍，并于 this repository 首次发布。

免责声明：发布MAE的团队未为此模型编写模型卡片，因此此模型卡片由Hugging Face团队编写。

模型描述

Vision Transformer（ViT）是一种变压器编码器模型（类似于BERT）。图像被呈现给模型作为一系列固定大小的补丁。

在预训练过程中，随机屏蔽高比例（75％）的图像补丁。首先，使用编码器对视觉补丁进行编码。然后，在掩盖的补丁位置处添加可学习（共享）的掩码令牌。解码器以编码的视觉补丁和掩码令牌作为输入，为掩盖位置重建原始像素值。

通过预训练模型，它学习了一种内在的图像表示，可以用于提取对下游任务有用的特征：例如，如果您有一个带标签的图像数据集，可以通过在预训练编码器之上放置一个线性层来训练标准分类器。

预期用途和限制

您可以使用原始模型进行图像分类。请查看 model hub ，以寻找您感兴趣的任务上的微调版本。

如何使用

这是如何使用此模型的方法：

from transformers import AutoImageProcessor, ViTMAEForPreTraining
from PIL import Image
import requests

url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
image = Image.open(requests.get(url, stream=True).raw)

processor = AutoImageProcessor.from_pretrained('facebook/vit-mae-base')
model = ViTMAEForPreTraining.from_pretrained('facebook/vit-mae-base')

inputs = processor(images=image, return_tensors="pt")
outputs = model(**inputs)
loss = outputs.loss
mask = outputs.mask
ids_restore = outputs.ids_restore

BibTeX条目和引用信息

@article{DBLP:journals/corr/abs-2111-06377,
  author    = {Kaiming He and
               Xinlei Chen and
               Saining Xie and
               Yanghao Li and
               Piotr Doll{\'{a}}r and
               Ross B. Girshick},
  title     = {Masked Autoencoders Are Scalable Vision Learners},
  journal   = {CoRR},
  volume    = {abs/2111.06377},
  year      = {2021},
  url       = {https://arxiv.org/abs/2111.06377},
  eprinttype = {arXiv},
  eprint    = {2111.06377},
  timestamp = {Tue, 16 Nov 2021 12:12:31 +0100},
  biburl    = {https://dblp.org/rec/journals/corr/abs-2111-06377.bib},
  bibsource = {dblp computer science bibliography, https://dblp.org}
}