注册
资讯
学习
基础知识 理论实践 学习教程
企业 招聘
下载
模型 数据集
AI工具箱
企业服务
EVA 智能HR
ChatGPT 人工智能应用 人工智能未来 计算机视觉
热门新闻
机器人 康奈尔大学

康奈尔大学推出新的社交机器人，更柔软，更人性化
行业 人工智能

为什么数据污染对LLM来说是一个大问题
行业 人工智能

所以，能动手就别吵吵了
常用工具
ChatGPT

OpenAI旗下AI对话工具
Midjourney

AI图像和插画生成工具，测试测试测试测试测试测测试
Stable Diffusion

StabilityAI推出的文本到图像生成AI
GitHub Copilot

GitHub AI编程工具
文心一言

百度推出的基于文心大模型的AI对话互动工具
讯飞星火认知大模型

科大讯飞推出的类ChatGPT的讯飞星火认知大模型

数据集:

larryvrh/CCMatrix-v1-Ja_Zh-filtered

任务:

翻译

语言:

zh ja
数据集介绍 文件清单
英文

"CCMatrix-v1-Ja_Zh-filtered" 数据集卡片

经过过滤和修改的日语/中文语言对数据，来自 CCMatrix v1 。

处理步骤：

  • 基本的基于正则表达式的过滤/长度检查，以删除异常对。
  • 基于 sentence-transformers/LaBSE 的语义相似性过滤，阈值为0.6。
  • 使用 zhconv 将所有繁体中文句子转换为简体中文。

    • 以下はフィルタリングされ修正された日本語/中国語のペアデータです。データ元は CCMatrix v1 です。

    処理手順：

  • 正規表現に基づくフィルタリング/長さのチェックを行い、異常なペアを削除します。
  • sentence-transformers/LaBSE に基づくセマンティック類似性フィルタリングを行い、閾値は0.6です。
  • zhconv を使って、すべての繁体字中国語の文を簡体字中国語に変換します。

    • 作者:

    larryvrh

    数据集大小:

    621.02 MB

    相关推荐