>>635

「エントロピー」
http://www.toyotariken.jp/Toyota_report/64/27matuzoe.pdf
複雑系科学における統計的推論の幾何学 松添　博
(抜粋)
3．q-指数型分布族とその双対平坦構造

通常の正規分布がBoltzmann-Gibbs-Shannon
エントロピーの最大化によって特徴付けられるのに対
し，
(引用終り)

https://ja.wikipedia.org/wiki/%E6%83%85%E5%A0%B1%E9%87%8F
(抜粋)
情報量やエントロピーは、情報理論の概念で、あるできごと（事象）が起きた際、それがどれほど起こりにくいかを表す尺度である。
なおここでいう「情報」とは、あくまでそのできごとの起こりにくさ（確率）だけによって決まる数学的な量でしかなく

歴史
「エントロピー」の概念は1865年にルドルフ・クラウジウスがギリシャ語の「変換」を意味する言葉を語源として、熱力学における気体のある状態量として導入した。これは統計力学では微視的な状態数の対数に比例する量として表される。
1929年にはレオ・シラードが、気体についての情報を観測者が獲得することと統計力学におけるエントロピーとの間に直接の関係があることを示し、現在 1 ビット（1 シャノン）と呼ぶ量が統計力学で k ln 2 に対応するという関係を導いていた[1]。

現在の情報理論におけるエントロピーの直接の導入は1948年のクロード・シャノンによるもので、その著書『通信の数学的理論』でエントロピーの概念を情報理論に応用した[2]。
シャノン自身は熱統計力学でこの概念と関連する概念がすでに使われていることを知らずにこの定義に到達したが、その名称を考えていたとき同僚フォン・ノイマンが、熱統計力学のエントロピーに似ていることから示唆したもので、フォン・ノイマンは「統計エントロピーが何なのかを理解してる人は少ないから、議論になったら有利であろう」と語ったとされる[3][4]。
しかしシャノンはフォン・ノイマンの影響を否定している[5]。

なお、シャノン以前にもラルフ・ハートレーが1928年に、集合Aに対して log ? # A という量を考察している（“ # A ”はAの元数）。 log ? # A はA上の一様分布のエントロピーに一致する。現在では、 log ? # A をAのハートレー・エントロピーと呼ぶ。
(引用終り)