ONNX convert typeform/distilbert-base-uncased-mnli

typeform/distilbert-base-uncased-mnli 转换

这是在 Multi-Genre Natural Language Inference （MNLI）数据集上经过 uncased DistilBERT model fine-tuning 的用于零-shot分类任务的模型。该模型对大小写不敏感，即不区分 "english" 和 "English"。

训练

训练是在 p3.2xlarge AWS EC2 实例（1 NVIDIA Tesla V100 GPU）上完成的，采用以下超参数：

$ run_glue.py \
    --model_name_or_path distilbert-base-uncased \
    --task_name mnli \
    --do_train \
    --do_eval \
    --max_seq_length 128 \
    --per_device_train_batch_size 16 \
    --learning_rate 2e-5 \
    --num_train_epochs 5 \
    --output_dir /tmp/distilbert-base-uncased_mnli/

评估结果