Perceiver IO for vision (卷积处理)

Perceiver IO模型在ImageNet上进行了预训练（1400万图像，1000个类别），分辨率为224x224。它在Jaegle等人的论文 Perceiver IO: A General Architecture for Structured Inputs & Outputs 中首次提出，并在 this repository 中首次发布。

免责声明：发布Perceiver IO的团队没有为这个模型编写模型卡片，因此这个模型卡是由Hugging Face团队编写的。

模型描述

Perceiver IO是一个可以应用于任何模态（文本、图像、音频、视频等）的Transformer编码器模型。其核心思想是在一组不太大的潜在向量上使用自注意机制，并且只使用输入来执行与潜在向量的交叉注意。这样可以使自注意机制的时间和内存需求不依赖于输入的大小。

为了解码，作者使用所谓的解码查询，可以灵活地解码潜在状态的最终隐藏状态，以产生任意大小和语义的输出。对于图像分类，输出是一个包含逻辑值的张量，形状为（batch_size，num_labels）。

Perceiver IO架构。

由于自注意机制的时间和内存需求不取决于输入的大小，Perceiver IO的作者可以直接在原始像素值上训练模型，而不像ViT那样对图像进行分块。此特定模型在使用输入进行与潜在值的交叉注意之前，对像素值使用简单的2D卷积+最大池化预处理网络。

通过预训练模型，它学习了图像的内部表示，然后可以用于提取对下游任务有用的特征：例如，如果你有一个标记图像的数据集，可以通过替换分类解码器来训练一个标准分类器。

预期用途和限制

你可以使用原始模型进行图像分类。查看 model hub 寻找其他在你感兴趣的任务上进行微调的版本。

如何使用

以下是在PyTorch中使用该模型的方法：

from transformers import PerceiverFeatureExtractor, PerceiverForImageClassificationConvProcessing
import requests
from PIL import Image

feature_extractor = PerceiverFeatureExtractor.from_pretrained("deepmind/vision-perceiver-conv")
model = PerceiverForImageClassificationConvProcessing.from_pretrained("deepmind/vision-perceiver-conv")

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

# prepare input
inputs = feature_extractor(image, return_tensors="pt").pixel_values
# forward pass
outputs = model(inputs)
logits = outputs.logits
print("Predicted class:", model.config.id2label[logits.argmax(-1).item()])
>>> should print Predicted class: tabby, tabby cat

训练数据

这个模型在 ImageNet 上进行了预训练，该数据集包含了1400万个图像和1k个类别。

训练过程

预处理

图像进行中心裁剪，并调整为224x224的分辨率，并在RGB通道上进行归一化。请注意，预训练过程中使用了数据增强，详见 paper 的附录H。

预训练

超参数的详细信息可以在 paper 的附录H中找到。

评估结果

这个模型可以在ImageNet-1k上达到82.1的Top-1准确率。

BibTeX条目和引文信息

@article{DBLP:journals/corr/abs-2107-14795,
  author    = {Andrew Jaegle and
               Sebastian Borgeaud and
               Jean{-}Baptiste Alayrac and
               Carl Doersch and
               Catalin Ionescu and
               David Ding and
               Skanda Koppula and
               Daniel Zoran and
               Andrew Brock and
               Evan Shelhamer and
               Olivier J. H{\'{e}}naff and
               Matthew M. Botvinick and
               Andrew Zisserman and
               Oriol Vinyals and
               Jo{\~{a}}o Carreira},
  title     = {Perceiver {IO:} {A} General Architecture for Structured Inputs {\&}
               Outputs},
  journal   = {CoRR},
  volume    = {abs/2107.14795},
  year      = {2021},
  url       = {https://arxiv.org/abs/2107.14795},
  eprinttype = {arXiv},
  eprint    = {2107.14795},
  timestamp = {Tue, 03 Aug 2021 14:53:34 +0200},
  biburl    = {https://dblp.org/rec/journals/corr/abs-2107-14795.bib},
  bibsource = {dblp computer science bibliography, https://dblp.org}
}