クロード・シャノンコミュのシャノンの第一定理(情報源符号化定理)

ログインして参加する

シャノンの第一定理(情報源符号化定理)

mixiユーザー 2006年09月26日 20:06

・シャノンの第一定理(情報源符号化定理)

※以下は定理の全容ではないけど，重要な性質についてとりあえず…

独立生起情報源Xに対して，これをr元符号化した場合，その平均符号長Lはrを底としたエントロピーH(X)未満の長さにできない．

(習ったのが昔過ぎて微妙です．ひとまずこのままで．また後で復習も兼ねて修正します)

という事で、シャノンの第一定理について．

コメント(3)

最初
全て
最新の40件

1

[1] mixiユーザー 02月16日 18:19

あ、なんか間違っている気がしてきた。
エントロピーの定義も書くべきかな。

[2] mixiユーザー 03月06日 08:07

とりあえず、第一定理の本質は、情報の圧縮をどこまでできるかを理論的に示す事です。

直感的には、よく起こる事には短い符号、あまり起こらない事には長い符号を付けるという、統計・確率的な性質を利用して圧縮を行います。

この様な解釈は、そもそもエントロピーの定義が、情報源が持つ情報の平均値であることから可能ではないかなと。

[3] mixiユーザー 03月11日 05:25

これがもし理論的に示せないと、世のエンジニアは符号の開発を請けた時に、「どこまでやればいいかわからない」、「成果を計る事ができない」など、ちょっと困った事に。

ログインすると、みんなのコメントがもっと見れるよ

最初
全て
最新の40件

1

mixiユーザー: ログインしてコメントしよう！

クロード・シャノン更新情報

クロード・シャノンのメンバーはこんなコミュニティにも参加しています

星印の数は、共通して参加しているメンバーが多いほど増えます。

クロード・シャノン

人気コミュニティランキング

困ったときには

関連ワード

mixiで趣味の話をしよう: 新規登録（無料）; ログイン

このページの上部へ