| | --- |
| | language: ja |
| | tags: |
| | - mobilebert |
| | license: cc-by-sa-3.0 |
| | datasets: |
| | - wikipedia |
| | --- |
| | |
| | # MobileBERT 日本語事前学習済みモデル爆誕！！ |
| | AI関係の仕事をしている櫻本です。 |
| | 2020年に発表されたBERTの発展型モデルの一つである「MobileBERT」の、日本語事前学習済みモデルを構築しました。 |
| | このページを見つけた方はかなりラッキーですから、ぜひ一度使ってみてください！！ |
| | BERTの推論速度の遅さを嘆いている方にお薦めです。 |
| |
|
| | # 利用方法 |
| | 既にtransformersでBERTを利用されている方向けの説明です。 |
| | トークナイザは東北大学さんのモデル(cl-tohoku/bert-large-japanese)からお借りしましたのでご指定ください。 |
| | 後は、**BertFor**なんちゃら～のクラスを**MobileBertFor**なんちゃら～に直して、このリポジトリを指定するだけです！ |
| | ```from transformers import BertJapaneseTokenizer, MobileBertForSequenceClassification |
| | tokenizer = BertJapaneseTokenizer.from_pretrained("cl-tohoku/bert-large-japanese") |
| | model = MobileBertForSequenceClassification.from_pretrained("ysakuramoto/mobilebert-ja") # 文書分類の場合 |
| | ``` |
| | (注意：文書分類などのタスクに利用するには、ファインチューニングが必要です) |
| |
|
| | # BERTとの性能比較 |
| | 文書分類と固有表現抽出について、ファインチューニング・性能評価を行いました。 |
| | 参考程度にご覧ください。(ファインチューニング後の性能を保証するものではありません) |
| |
|
| | - 文書分類(MobileBertForSequenceClassification) |
| | |メトリック|BERT|MobileBERT(高速化前)|MobileBERT(高速化後)| |
| | |-----------|-----------| ------- | -------- | |
| | |学習時間(s)|585.0|399.7|-| |
| | |推論時間(s)|259.0|108.7|70.5| |
| | |精度|86.4%|85.5%|86.4%| |
| | |モデルファイルサイズ(MB)|440.2|-|41.8| |
| | |
| | - 条件 |
| | - ライブドアニュースコーパスのタイトルとカテゴリで学習・推論。 |
| | - 比較対象のBERTモデルは東北大学さんの"cl-tohoku/bert-base-japanese-whole-word-masking"。 |
| | - 推論データ n=1,474。精度はAccuracy |
| | - 学習パラメータ: エポック数=10, lr=1e-4 |
| | - 推論時の高速化として、枝刈り(-20%)・量子化・jitコンパイルを実施。 |
| | - Google Colabにて、学習にGPU、推論にCPUを利用。バッチ処理でなく1件ずつ推論。 |
| | - それぞれ、学習～推論を3回実施した平均値。 |
| | |
| | - 固有表現抽出(MobileBertForTokenClassification) |
| | |メトリック|BERT|MobileBERT(高速化前)|MobileBERT(高速化後)| |
| | |-----------|-----------| ------- | -------- | |
| | |学習時間(s)|428.0|294.0|-| |
| | |推論時間(s)|163.5|78.4|40.9| |
| | |精度|86.4%|82.5%|83.3%| |
| | |モデルファイルサイズ(MB)|440.2|-|41.8| |
| | |
| | - 条件 |
| | - ストックマーク社さんのwikipediaデータセットで学習・推論。(https://github.com/stockmarkteam/ner-wikipedia-dataset) |
| | - 比較対象のBERTモデルは東北大学さんの"cl-tohoku/bert-base-japanese-whole-word-masking"。 |
| | - 推論データ n=2,140。精度は完全一致のf-measure |
| | - 学習パラメータ: エポック数=10, lr=1e-4 |
| | - 推論時の高速化として、枝刈り(-20%)・量子化・jitコンパイルを実施。 |
| | - Google Colabにて、学習にGPU、推論にCPUを利用。バッチ処理でなく1件ずつ推論。 |
| | - それぞれ、学習～推論を3回実施した平均値。 |
| | |
| | # モデルの説明 |
| | - モデルの構造 |
| | - 論文中の"MobileBERT"構造に従いました。(論文中にはMobileBERT<sub>TINY</sub>というバージョンもありますがそちらではないです) |
| | - 論文中のTable.1 をご確認ください。 https://arxiv.org/abs/2004.02984 |
| | - 学習に利用したデータ |
| | - 東北大学さんが公開されている方法で、2021年8月時点のwikipediaデータを加工・利用しました。 |
| | - 東北大学さんのgithub https://github.com/cl-tohoku/bert-japanese |
| | - トークナイザ |
| | - 東北大学さんのモデル"cl-tohoku/bert-large-japanese"からお借りしました。vocab sizeは32,768です。 |
| | - 学習方法 |
| | - Google ColabからTPUを用いて学習しました。 |
| | 1. IB-BERT<sub>LARGE</sub>をlr=5e-4で1Mステップ学習しました。 |
| | 1. IB-BERT<sub>LARGE</sub>を240kステップ蒸留後、mobileBERTをlr=5e-4で2Mステップ学習しました。 |
| | - トータルで2ヶ月半くらいかかりました。。エラー出まくってつらかったです。 |
| | |
| | # ライセンス |
| | [CC-BY SA 3.0](https://creativecommons.org/licenses/by-sa/3.0/deed.ja) |
| | トークナイザについては東北大学さんのモデル"cl-tohoku/bert-large-japanese"からお借りしました。 |
| |
|
| | # 免責 |
| | このモデルを利用・参照することで発生したあらゆる不都合や損害について、一切の責任を負いかねます。 |
