Charades 数据集卡片

数据集摘要

Charades 是由亚马逊 Mechanical Turk 收集的9848个日常室内活动视频组成的数据集。267位不同的用户被提供了一个句子，其中包含了固定词汇的对象和动作，并且他们通过模仿句子中的动作录制了一个视频（就像在玩Charades游戏）。该数据集包含了66,500个时间标注、157个动作类别的标签、46个物体类别的41,104个标签以及27,847个视频的文本描述。

支持的任务和排行榜

• 多标签动作分类：该任务的目标是对视频中发生的动作进行分类。这是一个多标签分类问题。排行榜地址： here

语言

数据集中的标注是英文。

数据集结构

数据实例

{
  "video_id": "46GP8",
  "video": "/home/amanpreet_huggingface_co/.cache/huggingface/datasets/downloads/extracted/3f022da5305aaa189f09476dbf7d5e02f6fe12766b927c076707360d00deb44d/46GP8.mp4",
  "subject": "HR43",
  "scene": "Kitchen",
  "quality": 6,
  "relevance": 7,
  "verified": "Yes",
  "script": "A person cooking on a stove while watching something out a window.",
  "objects": ["food", "stove", "window"],
  "descriptions": [
    "A person cooks food on a stove before looking out of a window."
  ],
  "labels": [92, 147],
  "action_timings": [
    [11.899999618530273, 21.200000762939453],
    [0.0, 12.600000381469727]
  ],
  "length": 24.829999923706055
}

数据字段

• video_id: str 每个视频的唯一标识符。
• video: str 视频文件的路径。
• subject: str 数据集中每个主体的唯一标识符。
• scene: str 数据集中的15个室内场景之一，例如厨房。
• quality: int 标注者评判的视频质量（7分制，7=高质量），如果缺失则为-100。
• relevance: int 标注者评判视频与脚本的相关性（7分制，7=非常相关），如果缺失则为-100。
• verified: str 如果标注者成功验证视频与脚本匹配则为“Yes”，否则为“No”。
• script: str 生成视频所使用的人工脚本。
• descriptions: List[str] 观看视频的标注者提供的描述列表。
• labels: List[int] 视频中找到的多标签动作。范围从0到156。
• action_timings: List[Tuple[int, int]] 每个动作发生的时间。
• length: float 视频的长度（秒为单位）。

数据集拆分

数据集创建

策划理由

计算机视觉有望通过搜索丢失的钥匙、浇花或提醒我们吃药等方式帮助我们的日常生活。为了成功完成这些任务，需要从我们日常动态场景的真实和多样化的示例中进行训练计算机视觉方法。虽然这些场景大多数都不是特别刺激，但它们通常不会出现在YouTube、电影或电视广播中。那么我们如何收集足够多的多样但无聊的样本来代表我们的生活呢？我们提出了一种新颖的“家中的好莱坞”方法来收集这些数据。我们通过将整个视频创建过程从脚本编写到视频录制和注释分配和众包化来确保多样性。

源数据

与拍摄类似，我们生成视频的流程分为三个步骤。第一步是生成室内视频的脚本。关键在于允许工作者生成各种各样的脚本，同时确保我们有足够的数据覆盖每个类别。第二步是使用脚本，并要求工作者录制一个表演该句子的视频。在最后一步中，我们要求工作者验证录制的视频是否与脚本相符，并进行注释程序。

亚马逊 Mechanical Turk 标注者

注释

与拍摄类似，我们生成视频的流程分为三个步骤。第一步是生成室内视频的脚本。关键在于允许工作者生成各种各样的脚本，同时确保我们有足够的数据覆盖每个类别。第二步是使用脚本，并要求工作者录制一个表演该句子的视频。在最后一步中，我们要求工作者验证录制的视频是否与脚本相符，并进行注释程序。

亚马逊 Mechanical Turk 标注者

个人和敏感信息

文章中没有明确提到任何特定的信息。

使用数据时需考虑的因素

数据集的社会影响

[需要更多信息]

对偏见的讨论

[需要更多信息]

其他已知限制

[需要更多信息]

其他信息

数据集策划者

AMT 标注者

许可信息

用于非商业用途的许可证

如果重新分发此软件，必须包含此许可证。软件一词包括任何源文件、文档、可执行文件、模型和数据。

此软件和数据可供学术、非营利或政府赞助的研究人员进行一般使用。它也可以在其他地方用于评估目的。此许可证不授予在营利企业中使用此软件或其任何派生作品的权利。对于商业使用，请联系Allen人工智能研究所。

此许可证不授予修改和公开发布数据的权利。

此许可证不授予以任何形式向第三方分发数据的权利。

对待此数据中的主体应该予以尊重和尊严。此许可证仅授予在学术出版物中出于呈现示例、实验结果或观察结果的需要，以及出现短片段或静止图像的权利。

此软件不带有任何形式的担保或保证。使用此软件即表示用户接受全部责任。

Allen人工智能研究所 (C) 2016年。

引用信息

@article{sigurdsson2016hollywood,
    author = {Gunnar A. Sigurdsson and G{\"u}l Varol and Xiaolong Wang and Ivan Laptev and Ali Farhadi and Abhinav Gupta},
    title = {Hollywood in Homes: Crowdsourcing Data Collection for Activity Understanding},
    journal = {ArXiv e-prints},
    eprint = {1604.01753}, 
    year = {2016},
    url = {http://arxiv.org/abs/1604.01753},
}

贡献者

感谢 @apsdehal 添加了此数据集。