"cardiffnlp/tweet_topic_multi" 数据集卡片

数据集概述

这是 TweetTopic（ "Twitter Topic Classification , COLING main conference 2022" ）的官方存储库，它是一个包含19个标签的Twitter主题分类数据集。每个TweetTopic实例都带有一个时间戳，时间范围从2019年9月到2021年8月。有关TweetTopic的单标签版本，请参见 cardiffnlp/tweet_topic_single 。TweetTopic中使用的推文收集与 TweetNER7 中所使用的相同。该数据集也集成在 TweetNLP 中。

预处理

在注释之前，我们对推文进行预处理以规范化一些文本特征，将URL转换为特殊令牌 {{URL}}，将未经验证的用户名替换为 {{USERNAME}}。对于经过验证的用户名，我们使用符号 {@} 替换其显示名称（或帐户名）。例如，一个推文

Get the all-analog Classic Vinyl Edition
of "Takin' Off" Album from @herbiehancock
via @bluenoterecords link below: 
http://bluenote.lnk.to/AlbumOfTheWeek

将转换为以下文本。

Get the all-analog Classic Vinyl Edition
of "Takin' Off" Album from {@herbiehancock@}
via {@bluenoterecords@} link below: {{URL}}

下面是一个格式化推文的简单函数。

import re
from urlextract import URLExtract
extractor = URLExtract()

def format_tweet(tweet):
    # mask web urls
    urls = extractor.find_urls(tweet)
    for url in urls:
        tweet = tweet.replace(url, "{{URL}}")
    # format twitter account
    tweet = re.sub(r"\b(\s*)(@[\S]+)\b", r'\1{\2@}', tweet)
    return tweet

target = """Get the all-analog Classic Vinyl Edition of "Takin' Off" Album from @herbiehancock via @bluenoterecords link below: http://bluenote.lnk.to/AlbumOfTheWeek"""
target_format = format_tweet(target)
print(target_format)
'Get the all-analog Classic Vinyl Edition of "Takin\' Off" Album from {@herbiehancock@} via {@bluenoterecords@} link below: {{URL}}'

数据拆分

对于时间偏移设置，模型应在 train_2020 上进行训练，使用 validation_2020 进行验证，并在 test_2021 上进行评估。通常，模型将在 train_all 上进行训练，这是最具代表性的训练集，使用 validation_2021 进行验证，并在 test_2021 上进行评估。

重要提示：为了得到与 COLING 2022 Tweet Topic 论文结果可比较的结果，请使用 train_coling2022 进行时间偏移，使用 test_coling2022 进行评估，并使用 train_coling2022_random 进行随机拆分（coling2022拆分没有验证集）。

模型

可以在 here 找到模型微调脚本.

数据集结构

数据实例

train 的一个示例如下。

{
    "date": "2021-03-07",
    "text": "The latest The Movie theater Daily! {{URL}} Thanks to {{USERNAME}} {{USERNAME}} {{USERNAME}} #lunchtimeread #amc1000",
    "id": "1368464923370676231",
    "label": [0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
    "label_name": ["film_tv_&_video"]
}

标签ID

可以在 here 找到 label2id 字典。

{
    "arts_&_culture": 0,
    "business_&_entrepreneurs": 1,
    "celebrity_&_pop_culture": 2,
    "diaries_&_daily_life": 3,
    "family": 4,
    "fashion_&_style": 5,
    "film_tv_&_video": 6,
    "fitness_&_health": 7,
    "food_&_dining": 8,
    "gaming": 9,
    "learning_&_educational": 10,
    "music": 11,
    "news_&_social_concern": 12,
    "other_hobbies": 13,
    "relationships": 14,
    "science_&_technology": 15,
    "sports": 16,
    "travel_&_adventure": 17,
    "youth_&_student_life": 18
 }

引用信息

@inproceedings{dimosthenis-etal-2022-twitter,
    title = "{T}witter {T}opic {C}lassification",
    author = "Antypas, Dimosthenis  and
    Ushio, Asahi  and
    Camacho-Collados, Jose  and
    Neves, Leonardo  and
    Silva, Vitor  and
    Barbieri, Francesco",
    booktitle = "Proceedings of the 29th International Conference on Computational Linguistics",
    month = oct,
    year = "2022",
    address = "Gyeongju, Republic of Korea",
    publisher = "International Committee on Computational Linguistics"
}