温度パラメータを0にすると精度が大きく劣化することはよく知られている
これはつまりLLMが最もらしいと推測したものを選んでいくと間違えやすいということだ
だから確率的な揺らぎの上で試行回数を増やすことで正解が一つ出れば良いという評価指標が多い
学校のテストで答え100個書いてどれかが当たってれば評価されるなんて馬鹿なものはないがな