情報理論 第2回 情報量とエントロピー (1)

今日の内容

次の内容を学ぶ。

• 自己情報量
• 平均情報量
• 確率変数Xのエントロピー
• 確率変数X,Yの結合エントロピーー

今日の手順

1. 下記の「授業スライド」をダウンロードするとともに、
   「授業スライドの説明」を視聴する (60～70分)
2. 演習レポートに取り組む (15～20分)
3. 対数関数と確率について思い出す (必要に応じて)

補足： 「授業スライドの説明」は、途中で止めて考える時間を取ったり、 分かりにくいところは時間を戻して確認しながら学習することを前提にしています。 各ページごとに止めながら、少しずつ学習してみてください。

補足その２： 対数関数と確率について、参考資料にまとめてあります。 参考資料や教科書の付録Ａ「確率の基本事項」、付録Ｂ「対数とその性質」 などを使って高校時代の復習をしておくと、授業をスムーズに受けられます。

今日の資料

• 授業スライド (PDF)
• 授業スライドの説明 (mp4, 499MB)
• 参考資料： 対数関数と確率 (PDF)
• 訂正： (2020.6.24)
  
  • 授業スライド p. 25, １行目
    誤： (X, Y) = (晴, 表), (晴, 裏), (晴, 表), (晴, 裏) の
    正： (X, Y) = (晴, 表), (晴, 裏), (雨, 表), (雨, 裏) の
  • 授業スライド p. 26, 吹き出しの中
    誤： X と y が独立でない
    正： X と Y が独立でない
    

補足： 「授業スライドの説明」も、 リンクを右クリックで、メニューから保存できます。 ネットワークの接続状態が悪い場合は、 動画ファイルを一度保存して、それを改めて視聴してみてください。 (再配布はしないでください。)

演習レポート

• 演習レポート課題 (Word) / (PDF)
• 今回のレポートの提出先
  Google form の制約により、 google アカウントで login している必要があります。
• 次回の授業開始予定時刻までに、提出してください。
• 補足：
  • 提出時ファイル名は、何でも構いません。 (こちらの方で、誰の提出かを区別して保存しています。)
  • また、ファイルフォーマットも、 word 以外のもの (pdf や zip など) でも構いません。
  • 提出が完了したら、「回答を記録しました」と出ます。 このメッセージが出たら、提出完了です。
  • もしも、提出するファイルを間違えた時など、改めて提出して構いません。 (個別の事情もあるかと思いますので、ナーバスになる必要はありません。)

ノート

演習レポート提出時にいただいた質問・コメントへの回答を、ノートに記載しました。

その他

• メールでの問い合わせの際には、件名 (Subject) に、 クラス名 (Aクラス～Cクラス) を入れてください

2020.6.19 作成，2020.6.24 更新，担当：堀山