このモデルはluke-japanese-baseをファインチューニングして、JCommonsenseQA(選択式応答)に用いれるようにしたものです。

このモデルはluke-japanese-baseをyahoo japan/JGLUEのJCommonsenseQA( https://github.com/yahoojapan/JGLUE )を用いてファインチューニングしたものです。

選択式の質問応答タスクに用いることができます。

This model is fine-tuned model for commonsenseqa which is based on luke-japanese-base

This model is fine-tuned by using yahoo japan JGLUE JCommonsenseQA dataset.

You could use this model for commonsenseqa tasks.

モデルの精度 accuracy of model

モデルの精度は80.07149240393296でした。他の言語モデルと比べても非常に高い値となっています。（参考　BERT：72.0、XLM RoBERTa base:68.7)

How to use 使い方

sentencepieceとtransformersをインストールして (pip install sentencepiece , pip install transformers) 以下のコードを実行することで、commonsenseqaタスクを解かせることができます。please execute this code.

from transformers import AutoTokenizer, AutoModelForMultipleChoice
import torch
import numpy as np

# modelのロード
tokenizer = AutoTokenizer.from_pretrained('Mizuiro-sakura/luke-japanese-base-commonsenseqa')
model = AutoModelForMultipleChoice.from_pretrained('Mizuiro-sakura/luke-japanese-base-commonsenseqa')

# 質問と選択肢の代入
question = '電子機器で使用される最も主要な電子回路基板の事をなんと言う？'
choice1 = '掲示板'
choice2 = 'パソコン'
choice3 = 'マザーボード'
choice4 = 'ハードディスク'
choice5 = 'まな板'

# トークン化（エンコーディング・形態素解析）する
token = tokenizer([question,question,question,question,question],[choice1,choice2,choice3,choice4,choice5],return_tensors='pt',padding=True)
leng=len(token['input_ids'][0])

# modelに入力するための下準備
X1 = np.empty(shape=(1, 5, leng))
X2 = np.empty(shape=(1, 5, leng))
X1[0, :, :] = token['input_ids']
X2[0, :, :] = token['attention_mask']

# modelにトークンを入力する
results = model(torch.tensor(X1).to(torch.int64),torch.tensor(X2).to(torch.int64))

# 最も高い値のインデックスを取得する
max_result=torch.argmax(results.logits)
print(max_result+1)

what is Luke?　Lukeとは？[1]

LUKE（Language Understanding with Knowledge-based Embeddings）は、トランスフォーマに基づいた単語とエンティティの新しい事前学習されたコンテクスト依存表現です。LUKEは、与えられたテキスト内の単語とエンティティを独立したトークンとして扱い、それらのコンテクスト依存表現を出力します。LUKEは、トランスフォーマのセルフアテンションメカニズムの拡張であるエンティティ重視のセルフアテンションメカニズムを採用し、アテンションスコアの計算にトークンのタイプ（単語またはエンティティ）を考慮します。

LUKEは、SQuAD v1.1（抽出型質問応答）、CoNLL-2003（固有表現認識）、ReCoRD（クローズスタイルの質問応答）、TACRED（関係分類）、Open Entity（エンティティのタイプ付け）を含む5つの人気のあるNLPベンチマークで最先端の結果を達成しました。 luke-japaneseは、単語とエンティティの知識拡張型訓練済み Transformer モデルLUKEの日本語版です。LUKE は単語とエンティティを独立したトークンとして扱い、これらの文脈を考慮した表現を出力します。

謝辞

Lukeの開発者である山田先生とStudio ousiaさんには感謝いたします。 I would like to thank Mr.Yamada @ikuyamada and Studio ousia @StudioOusia.

引用文献

[1]@inproceedings{yamada2020luke, title={LUKE: Deep Contextualized Entity Representations with Entity-aware Self-attention}, author={Ikuya Yamada and Akari Asai and Hiroyuki Shindo and Hideaki Takeda and Yuji Matsumoto}, booktitle={EMNLP}, year={2020} }