https://gigazine.net/news/20170901-transformer-neural-network-language-understanding/

これを見ると、ニューラルネットというより超強力な予測システムみたいなやつっぽいけど

＞正解を与えずに特徴のパターンを学習させる「教師なし学習」により、データセットから”次に来る単語”を予測
＞間違った予測と正解の誤差を計算し、誤差を学習

https://gigazine.net/news/20170901-transformer-neural-network-language-understanding/
Google Transformer
＞各単語が文章中のすべての単語と比較され、
その結果が文章内の全ての単語のアテンションスコアとして残り、このスコアを基にそれぞれの単語がどういった意味合いを持っているのかを判断