数据集:

singletongue/wikipedia-utils

英文

维基百科工具:为自然语言处理预处理的维基百科文本

使用 singletongue/wikipedia-utils 仓库中的脚本生成的预处理过的维基百科文本。

有关文本如何处理的详细信息,请参考该仓库。