TrOCR（大型预训练模型，仅限预训练）

TrOCR仅限预训练模型。该模型由李等人在 TrOCR: Transformer-based Optical Character Recognition with Pre-trained Models 中提出，并于 this repository 首次发布。

免责声明：发布TrOCR的团队没有为这个模型撰写模型卡，因此这个模型卡是由Hugging Face团队撰写的。

模型描述

TrOCR模型是一个编码-解码模型，由图像Transformer作为编码器和文本Transformer作为解码器组成。图像编码器是从BEiT的权重初始化而来，而文本解码器是从RoBERTa的权重初始化而来。

图像以一系列固定大小的补丁（分辨率为16x16）的形式呈现给模型，补丁经过线性嵌入。在将序列输入Transformer编码器的层之前，还会添加绝对位置嵌入。接下来，Transformer文本解码器自回归地生成标记。

预期用途和限制

您可以使用原始模型对单行文本图像进行光学字符识别（OCR）。查看 model hub 以寻找您感兴趣的任务上的微调版本。

使用方法

以下是如何在PyTorch中使用此模型：

from transformers import TrOCRProcessor, VisionEncoderDecoderModel
from PIL import Image
import requests

# load image from the IAM database
url = 'https://fki.tic.heia-fr.ch/static/img/a01-122-02-00.jpg'
image = Image.open(requests.get(url, stream=True).raw).convert("RGB")

processor = TrOCRProcessor.from_pretrained('microsoft/trocr-large-stage1')
model = VisionEncoderDecoderModel.from_pretrained('microsoft/trocr-large-stage1')

# training
pixel_values = processor(image, return_tensors="pt").pixel_values  # Batch size 1
decoder_input_ids = torch.tensor([[model.config.decoder.decoder_start_token_id]])
outputs = model(pixel_values=pixel_values, decoder_input_ids=decoder_input_ids)

BibTeX条目和引用信息

@misc{li2021trocr,
      title={TrOCR: Transformer-based Optical Character Recognition with Pre-trained Models}, 
      author={Minghao Li and Tengchao Lv and Lei Cui and Yijuan Lu and Dinei Florencio and Cha Zhang and Zhoujun Li and Furu Wei},
      year={2021},
      eprint={2109.10282},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}