>>518
すぐにどうにもならない劣勢の部分を無い物ねだりしてもしょうがない
今ある強みの部分を活かして勝負することも大事

そもそもスケーリング則（Scaling Law）が出現するソフトウェア（Transformer）の基本は既にGoogleが論文で出してくれてる
中国や韓国もそれに基づいて巨大言語モデルを作ってる
若干の工夫は必要としても、あとはデータとパラメータを増やし、つまりハードウェアの計算力がモノを言う
（まあデータは日本では難しい面もあるが国会図書館を活用するなど工夫してほしい）
GPT-3で分かったTransformerのスケーリング則とはそう言うことだから衝撃が広がった
ちなみに最近発表されたgMLPでもスケーリング則が働くという

とにかく現在のAIを語るならスケーリング則（Scaling Law）は押さえておく必要がある
「OpenAIが発見したScaling Lawの秘密」より
＞性能はパラメータ数N・データセットサイズD・計算予算C（つまりスパコンの計算能力と消費電力）を変数としたシンプルなべき乗則 に従う
＞Scaling Lawの有効範囲には上限がない可能性．つまり，理論上は3つの変数を上げ続ければTransformerの性能は無限に上がり続ける
＞Scaling Lawが(テキストだけでなく)あらゆるドメインに適用される可能性（これは最近のGoogleなどの論文で画像認識でも確認されている）

つまり今のAI開発研究ではハードウェア（スパコン）の性能がかつてないほど重要になっている
スケーリング則以前の問題としても、新しいソフトウェアを作ってそれを試すにもハードウェアが高性能なら時間を短縮できる
Googleなどはそれ（自社開発したTPU）でアドバンテージを築いている面も大きい
ちなみにPFNもそれに気づいてスパコンの自社開発をしている

というわけで巨大モデル作成競争には富岳を有する日本にはチャンスなんだが・・・