258 万例の巨大な Instruction データセットをつくり既存 LLM の fine-tuning を行ったところ、たった 783M パラメータの Flan-T5 が Alpaca-7B を人力評価で上回った。
https://twitter.com/_kaiinui/status/1650979354279825408
258万例も大量学習させれば、もはや推論して考えて答えなくても丸暗記のパターン返答だけで何言われても一通り対応できるって話かもしれない
https://twitter.com/umiyuki_ai/status/1651064027110584326

算数ができないのも納得だ
https://twitter.com/5chan_nel (5ch newer account)