あの論文を検証してみた！ - シリーズ第１回 - BERT 論文（解説編）
https://bci-tech.hatenablog.com/entry/2018/11/28/120000
「なにやら、複数の自然言語処理タスクでSOTAをたたき出して、すごいらしい」

「日本語対応には、tokenizer と、vocab 辞書をうまく定義してあげる必要がありそう」
「tokenizer と 辞書を同時に学習(更新)できるようなモデルをBERTをベースに作ったら、日本語でもうまくいくかもしれない（感想）」