模型:
microsoft/resnet-101
在224×224分辨率下,基于ImageNet-1k数据集预训练的ResNet模型。它在He等人的 Deep Residual Learning for Image Recognition 论文中被引入。
声明:发布ResNet的团队没有为此模型撰写模型卡片,因此该模型卡片是由Hugging Face团队撰写的。
ResNet(残差网络)是一种卷积神经网络,它使残差学习和跳跃连接的概念普及起来,这使得训练更深的模型成为可能。
这是ResNet v1.5,与原始模型不同:在需要下采样的瓶颈块中,v1中的第一个1x1卷积的步幅是2,而v1.5中的步幅是3x3卷积的步幅是2。这种差异使得ResNet50 v1.5比v1略准确一些(0.5% top1),但性能稍差(约5% imgs/sec)。根据 Nvidia 。
您可以将原始模型用于图像分类。参阅 model hub 以查找您感兴趣的任务上的经过微调的版本。
这是如何使用此模型将COCO 2017数据集中的图像分类为1000个ImageNet类别之一的示例:
from transformers import AutoFeatureExtractor, ResNetForImageClassification
import torch
from datasets import load_dataset
dataset = load_dataset("huggingface/cats-image")
image = dataset["test"]["image"][0]
feature_extractor = AutoFeatureExtractor.from_pretrained("microsoft/resnet-101")
model = ResNetForImageClassification.from_pretrained("microsoft/resnet-101")
inputs = feature_extractor(image, return_tensors="pt")
with torch.no_grad():
logits = model(**inputs).logits
# model predicts one of the 1000 ImageNet classes
predicted_label = logits.argmax(-1).item()
print(model.config.id2label[predicted_label])
有关更多代码示例,请参阅 documentation 。
@inproceedings{he2016deep,
title={Deep residual learning for image recognition},
author={He, Kaiming and Zhang, Xiangyu and Ren, Shaoqing and Sun, Jian},
booktitle={Proceedings of the IEEE conference on computer vision and pattern recognition},
pages={770--778},
year={2016}
}