情報エントロピーについてのおそらくは最も入門的解説をした本だろう。
読むまでは何について書いたものなのかわからず、「価値ある情報を高速に正確に送る」という副題を見て通信技術の本かと思っていたが、何の何の、情報「量」についてのわかりやすい解説である。
情報量とはデータの量ではない。情報の持つ「価値」の量である。情報の持つ価値とは「明日雨が降る」という情報を１、降らないという情報を０であわらすということで、実は価値を記号で表現したものということになる。情報の価値は知っている人にはゼロとなり、エントロピーが低い状態である。
エントロピーが高いということは情報が伝わっていない状態、伝えるべき情報がたくさんある状態を意味するので、それだけ不確実性が高くなっていることを意味する。
上に凸の二次関数の両端がゼロで中心が１になるのがエントロピーの表現である。つまり、どちらに転ぶかわからない状態がエントロピー最大である。
一般に通信の場合はエラー処理などを含めて冗長な形でデータを送るため、情報の本体部分は圧縮して送信される。しかしエントロピー以下に圧縮することはできない。考えてみれば当然である。エントロピーとは最も冗長性の低い状態であり、圧縮が冗長性を排除する方法であるので、どれだけ圧縮してもエントロピーを下ることはない。
他方、音声のようにサンプリング量を「粗く」することによって情報量を減らすという方法もある。
音質は落ちるので情報の価値は下がる。