解説と評論：池田光
穂
情
報論
■Information
theory is the mathematical study of the quantification, storage, and
communication of information. The field was originally established by
the works of Harry Nyquist and Ralph Hartley, in the 1920s, and Claude
Shannon in the 1940s. The field, in applied mathematics, is at the
intersection of probability theory, statistics, computer science,
statistical mechanics, information engineering, and electrical
engineering.
■A
key measure in information theory is entropy. Entropy quantifies the
amount of uncertainty involved in the value of a random variable or the
outcome of a random process. For example, identifying the outcome of a
fair coin flip (with two equally likely outcomes) provides less
information (lower entropy, less uncertainty) than specifying the
outcome from a roll of a die (with six equally likely outcomes). Some
other important measures in information theory are mutual information,
channel capacity, error exponents, and relative entropy. Important
sub-fields of information theory include source coding, algorithmic
complexity theory, algorithmic information theory and
information-theoretic security.
■Applications
of fundamental topics of information theory include source coding/data
compression (e.g. for ZIP files), and channel coding/error detection
and correction (e.g. for DSL). Its impact has been crucial to the
success of the Voyager missions to deep space, the invention of the
compact disc, the feasibility of mobile phones and the development of
the Internet. The theory has also found applications in other areas,
including statistical inference, cryptography, neurobiology,
perception, linguistics, the evolution and function of molecular codes
(bioinformatics), thermal physics, molecular dynamics,quantum
computing, black holes, information retrieval, intelligence gathering,
plagiarism detection, pattern recognition, anomaly detection and even
art creation.
https://en.wikipedia.org/wiki/Information_theory
■
情報理論とは、情報の定量化、保存、伝達に関する数学的研究である。1920年代にハリー・ナイキストとラルフ・ハートリーが、1940年代にクロード・
シャノンがこの分野を確立した。応用数学におけるこの分野は、確率論、統計学、コンピュータサイエンス、統計力学、情報工学、電気工学の交差点に位置す
る。
■
情報理論における重要な尺度はエントロピーである。エントロピーとは、確率変数の値やランダムプロセスの結果に含まれる不確定性の量を定量化したものであ
る。例えば、公平なコインフリップ（2つの可能性が等しい）の結果を特定することは、サイコロの目（6つの可能性が等しい）の結果を特定することよりも少
ない情報（より低いエントロピー、より少ない不確実性）を提供します。情報理論における他の重要な尺度には、相互情報量、チャンネル容量、誤差指数、相対
エントロピーなどがある。情報理論の重要な下位分野には、情報源符号化、アルゴリズム複雑性理論、アルゴリズム情報理論、情報理論的セキュリティなどがあ
る。
■
情報理論の基本的なトピックの応用には、ソース符号化／データ圧縮（ZIPファイルなど）、チャネル符号化／エラー検出・訂正（DSLなど）などがある。
その影響は、深宇宙へのボイジャー・ミッションの成功、コンパクト・ディスクの発明、携帯電話の実現可能性、インターネットの発展に極めて重要であった。
この理論はまた、統計的推論、暗号学、神経生物学、知覚、言語学、分子コードの進化と機能（バイオインフォマティクス）、熱物理学、分子動力学、量子コン
ピューティング、ブラックホール、情報検索、情報収集、盗作検出、パターン認識、異常検出、さらには芸術の創造など、他の分野にも応用されている。
■
情報理論は、情報の伝達、処理、抽出、利用を研究する。抽象的には、情報は不確実性の解消と考えることができる。ノイズの多いチャネル上での情報通信の場
合、この抽象的概念は1948年にクロード・シャノンによって「通信の数学的理論」と題された論文で公式化された。この論文では、情報は可能なメッセージ
の集合として考えられ、目標はノイズの多いチャネル上でこれらのメッセージを送信し、チャネルノイズにもかかわらず、受信者が低いエラー確率でメッセージ
を再構成することである。シャノンの主要な結果であるノイズ・チャネル符号化定理は、多くのチャネルが使用される限界において、漸近的に達成可能な情報率
は、単にメッセージが送信されるチャネルの統計量に依存するチャネル容量に等しいことを示した。
■
符号理論とは、ノイズの多いチャネル上でのデータ通信の効率を高め、誤り率をチャネル容量近くまで低減するための、符号と呼ばれる明示的な方法を見つける
ことに関係している。これらの符号は、データ圧縮（ソース符号化）と誤り訂正（チャネル符号化）技術に大別できる。後者の場合、シャノンの研究が可能であ
ることを証明した方法を見つけるのに何年もかかった。
■情報理論符号の第3のクラスは、暗号アルゴリズム（符号と暗号の両方）である。符号理論や情報理論からの概念、方法、結果は、単位禁止などの暗号や暗号解読に広く使われている。
++++
