预训练语言模型评估（零-shot）推荐数据集

我们证明了预训练的大型语言模型可以作为一个推荐系统，并将少样本学习结果与矩阵分解基准进行比较。这是我们基于语言的电影推荐数据集的BIG-Bench版本。

https://github.com/google/BIG-bench/tree/main/bigbench/benchmark_tasks/movie_recommendation

GPT-2的准确率为48.8％，概率为25％。人类准确率为60.4％。

引用

@InProceedings{sileodreclm22,
    author="Sileo, Damien
    and Vossen, Wout
    and Raymaekers, Robbe",
    editor="Hagen, Matthias
    and Verberne, Suzan
    and Macdonald, Craig
    and Seifert, Christin
    and Balog, Krisztian
    and N{\o}rv{\aa}g, Kjetil
    and Setty, Vinay",
    title="Zero-Shot Recommendation as Language Modeling",
    booktitle="Advances in Information Retrieval",
    year="2022",
    publisher="Springer International Publishing",
    address="Cham",
    pages="223--230",
    isbn="978-3-030-99739-7"
}