📺 Measuring the entropy of English
情報理論の父クロード・シャノンが、英語テキストの圧縮可能性を予測可能性に基づいて解明した方法と、その実験プロセスを紹介します。1940年代から1950年代にかけて行われた人間による文字予測実験を通じて、言語の本質的な情報量を推定する試みとその限界について解説します。
- シャノンの初期実験:短系列の統計分析と課題
- 妻ベティを用いた文字予測実験の情報理論的意義
- 1950年の論文「印刷された英語の予測とエントロピー」
- 人間の推測数に基づく確率推定と1ビット/文字という結論
- 純粋なデータ分析から人工知能の設計へ至るパラダイムシフト
情報理論と機械学習の接点に興味がある方々向けです。視聴することで、データの圧縮と知能の関係性についての基礎的な歴史的背景と概念的枠組みを理解できます。
この動画を紹介した 3Blue1Brown の最新動画も、紹介付きで読めます。
📄 このページの紹介文は AI が独自に生成したものであり、著作権をはじめとする他者の権利(商標権・名誉権・プライバシー等)を侵害しないよう配慮しています。動画の著作権は各作成者に帰属します。