シャノンの英語圧縮実験から情報の定義をたどる

英語のテキストがどのくらい圧縮できるか、その予測可能性の関係をクロード・シャノンがどのように追究したのかをたどります。文字列の統計から人間の推測実験へと方法を変えながら、情報の定義に必要な確率の求め方へ至る過程を解説します。

■ シャノンの初期実験
- 短い文字列の出現統計を積み上げる方法と、長文脈で破綻する点
- 長い文脈ほど予測・圧縮に有効になるという背景

■ 人間をモデルにした予測実験
- 奥さんを対象にした文字予測の試みと、正誤に応じたテキストの書き換え
- 1950年の論文で人数と推測回数を記録した実験の進め方
- 統計と推測回数を組み合わせて確率を推定する方法と、その結果得られた圧縮限界の目安

■ 情報と知能の関係
- この試みが純粋なデータ分析を超えて知能に踏み込んだ点
- 現在に近い圧縮限界へ到達するアプローチの方向性

情報理論やデータ圧縮の成り立ちを具体的なエピソードとともに知りたい方や、「圧縮＝知能」という観点に興味がある方向けです。観看後は、情報の量と予測可能性の関係、そして現在の圧縮技術の背景を理解できるようになります。シリーズ第1弾として、続きの解説もチャンネルで確認できます。