『通信の数学的理論』シャノン、ウィーバー

※書評と言うか自分自身のための読書メモのようなもの。どこかの誰かの参考になれば幸いなり。


『通信の数学的理論』クロード・E・シャノン、ワレン・ウィーバー
(ちくま学芸文庫)

情報の話になれば、必ず出てくるのがシャノンのこの論文である。シャノンの論文とウィーバーによる解説と言う2つの論文になっている。

シャノンの情報理論は工学的観点からメッセージを送ること、つまり通信のこと、を考えたもの。

ワレン・ウィーバーの整理(通信の3つのレベル);
レベルA(技術的な問題)通信において記号をどのくらい正確に伝えることができるのか。
レベルB(意味的な問題)送信された記号はどのくらい正確に所望の意図を伝えることができるのか。
レベルC(効果の問題)受信された意図はどのくらい効果的に所望する行為に影響するのか。

シャノンの理論はレベルAの問題を扱っている。(そして意味の問題は無視している。)

彼が問題としているのは、どのようなメッセージを送るかではなく、どのようなメッセージを送り得るのかと言う可能性の問題であり、個々のメッセージではなく、全体の状況の問題である。

例えば英語ではAと言う記号が出現する確率は○○、その次にBという記号が出現する確率は○○、と記号列が次々に出現する確率がおおよそ定められる。(数学的にはマルコフ過程という確率過程のモデルが用いられる。)

記号が出現する確率とは選択の自由度(不確かさ)でもある。それを2を底とした対数で表現し、それらを足し合わせたものをシャノンはエントロピーと呼んだ。統計力学のエントロピーと同様の形式を持っているからである。

統計力学におけるエントロピーとシャノン情報におけるエントロピーの相似性の理由;
ある分子の周囲の分子が存在する確率(選択の自由度)と記号列の次の記号の存在の確率(選択の自由度)が似ているから。


エントロピーの高い状態(秩序のない状態)の方が情報量が多いとしたが、これはその状態を表現するのに手間がかかると言うこと。(チャンネルの容量や通信速度など)

シャノンの情報理論と言うより通信理論と言った方が良いのではないか。情報量と言うより通信量とか通信関連容量などと言った方が良いのではないか。
by ykenko1 | 2013-08-16 21:33 | 情報論 | Comments(0)


<< パターン特異的反応性(PSR;... 『情報と宇宙(仮)』論文執筆のこと >>