X-CLIP (基础型号)

X-CLIP模型（基础型号，补丁分辨率为16）在 Kinetics-400 上进行了全监督训练。它在Ni等人的 Expanding Language-Image Pretrained Models for General Video Recognition 论文中首次提出，并于 this repository 首次发布。

该模型使用每个视频的16帧，分辨率为224x224进行训练。

免责声明：发布X-CLIP的团队没有为该模型编写模型卡片，因此该模型卡片由Hugging Face团队撰写。

模型描述

X-CLIP是 CLIP 的一种用于通用视频-语言理解的最小扩展。该模型通过（视频，文本）对进行对比式训练。

这使得该模型可用于零样本、少样本或全监督视频分类和视频-文本检索等任务。

预期用途和限制

您可以使用原始模型确定文本与给定视频的匹配程度。请查看 model hub ，以寻找您感兴趣的任务的微调版本。

使用方法

有关代码示例，请参阅 documentation 。

训练数据

该模型是在 Kinetics-400 上训练的。

预处理

有关训练期间预处理的详细信息，请参阅 here 。

有关验证期间预处理的详细信息，请参阅 here 。

在验证期间，先调整每个帧的较短边，然后进行居中裁剪以达到固定的分辨率（如224x224）。接下来，对每个帧在RGB通道上进行ImageNet均值和标准差的归一化。

评估结果

该模型达到了84.7%的top-1准确率和96.8%的top-5准确率。