クロード・シャノンコミュのエントロピーについて

エントロピーって何だろう？
エントロピーの性質や、これに基づくものの見方などなど…について。

定義
X:情報源
xi:Xより生起する情報
pi:xiがXから生起する確率
H(X):Xのエントロピー

H(X)=Σpi・log(1/pi)

「平均」または「符号長」とも言われます。

コメント(4)

最初
全て
最新の40件

[1] mixiユーザー 03月16日 07:52

これは情報系専門の知人から聞いた話なのですが、一時期、

「天動説と地動説、小学生の4割が天動説を支持」

というアンケート結果が話題となり、「学習がキチンと行われていない」と問題視されました。

確かこれは、「正しいのは地動説か、天動説かの2択として出題された」と思うのですが、「もしもそうであれば」、エントロピーを用いて考えると、別の側面が見えてきます。

それは、「2択で一方の選択者が4割」というのは、「エントロピーの値が高過ぎる」という事です。

これが一体どういう事を意味するのか…？

このアンケートはあてずっぽうに回答されていないか？
天動説・地動説以前の問題があるような気がします。

[2] mixiユーザー 05月24日 01:00

上の書込み！面白いですね！
情報理論的に考えると、占い師でもっとも信用できるのは、
　●必ず当たる占い師＝必ず外れる占い師
　　→エントロピーはいずれも低い
です。情報理論的にもっとも信用のできない占い師は。。。
　●当たる時と外れる時が半々の占い師
　　→エントロピーが高い
ですよね。つまり「当たるも八卦、外れるも八卦」というのは
シャノン理論流には、もっとも当てにならんのですよね。

[3] mixiユーザー 06月18日 01:33

コメントありがとうございます．

それと>>1は，地球も太陽も宇宙の中心ではないので，もしもこの問いが「どちらが宇宙の中心か？」を問うものであったり，天動説と地動説をそのような論争として学んでいた場合は正しく答えることができない気がします．

# どちらかと言うと，歴史の問題？

[4] mixiユーザー 09月26日 20:04

今見返すと，情報理論のコミュで語るには少々主旨が違う気がします…

う～ん…

ログインすると、みんなのコメントがもっと見れるよ