science

情報エントロピー:不確かさはエントロピーで測る

2016年6月14日 火曜日 曇りときどき小雨

大村平、情報のはなし 日科技連 昭和45年(1970年)

*****

こういう考えかた(熱力学の分野でいわれているエントロピーの概念)は、情報の世界でもうまく利用できるし、それに、エントロピーを表す式の形まで全く同じなので、情報の世界にも、エントロピーの概念が定着してしまいました。(大村、同書、p51)

情報理論という分野では「情報エントロピー」なる概念が生まれた。そこで定義された「情報量」が、ボルツマンのH関数と同じ形をしているのである。 ただし、情報理論の祖クロード・シャノンは当初、統計力学のエントロピーを知らなかったらしい。また、彼がいうところの「エントロピー」とは、状態の集合の性質(状態数)というより確率事象の性質(くじを引いてびっくりする度合い)として考えられている。・・・さらに、この発想から転じて、自然界や宇宙全体を<デジタル情報そのもの>としてとらえようという面白い試みーーー「情報としての物理学」も進んでいる。(鈴木炎 エントロピーをめぐる冒険 初心者のための統計熱力学 講談社ブルーバックス 2014年 p254)

*****

不確かさを測る:不確かさはエントロピーで測る

エントロピー H = p・log2(1/p) + q・log2(1/q)

不確かさを表すこの量をエントロピーといいます。結果が二つだけで、一方の結果になる確率がp、他方の結果になる確率がqであれば、その不確かさ、すなわちエントロピーは、どんな場合でも

p・log2(1/p) + q・log2(1/q)

で表されます。(大村、情報のはなし、p47)

情報の増加は、エントロピーの減少
エントロピーは、「情報」を考えるのになくてはならない概念です。エントロピーは不確かさを表しており、不確かさかげんがはなはだしいほどエントロピーが大きくなります。(大村、同書、p50)

*****

ひとくちにいえば、私達の行為のほとんどは、秩序をすなわち情報を作り出すことを目的としています。

生命現象は情報製造

エントロピー増加の法則にさからって、秩序を作り出すことが生命現象の本質であるならば、社会にも生命があるように考えてはいけないでしょうか。つまり、固体の生命現象も、社会活動も、情報を生産することによってエントロピーを減少させているという点は共通なのです。(以上、大村、同書、p54-57より抜粋)

*****

********************************************