Тема: Вероятностный подход к определению количества информации. Формула Шеннона. Цель: 1. Научиться определять количество информации через вероятность?

Задача Сколько бит необходимо, чтобы закодировать оценки «неудовлетворительно», «удовлетворительно», «хорошо» и «отлично»? ? Решение: N=4 – равновероятные события 2 i =N 2 i =4 i=2 (бита) – необходимо для кодирования оценки.

N – количество равновероятных событий I – количество информации, что произошло одно из N событий (бит) ! Сообщение уменьшающее неопределённость знаний в 2 раза несёт 1 бит информации. !

В корзине лежит 16 шаров разного цвета. Сколько информации несет сообщение, что достали белый шар? В корзине лежит 11 шаров разного цвета. Сколько информации несет сообщение, что достали красный шар?

Логарифмом числа b по основанию а (a>0, a1) называется показатель степени, в которую надо возвести число а, чтобы получилось b. !

Вычислите: ?

-формула Хартли Эта формула была выведена в 1928 г. американским инженером Р.Хартли и носит его имя.

В корзине лежат 8 чёрных и 24 белых шара. а) Сколько информации несёт сообщение, что из корзины достали чёрный шар? б) Сколько информации несёт сообщение, что из корзины достали шар?

В корзине лежат 8 чёрных и 24 белых шара. а) Сколько информации несёт сообщение, что из корзины достали чёрный шар? А – достать чёрный шар В – достать белый шар n – количество возможных событий n=32 m – количество интересующих событий m A =8 m B =24 p i – вероятность отдельного события В корзине лежат 8 чёрных и 24 белых шара. а) Сколько информации несёт сообщение, что из корзины достали чёрный шар? !

1. Какие события могут произойти при подбрасывании монеты? 2. Сколько этих событий? 3. Какие это события (равновероятные или нет)? 4. Найдите вероятность этих событий. 5. Что можно сказать про эти вероятности? 6. Выразите p через N, где p- вероятность, а N- количество равновероятных событий? 7. Выразите из формулы N. 8. Запишите формулу Хартли и N замените.

- количество информации, через вероятность В корзине лежат 8 чёрных и 24 белых шара. а) Сколько информации несёт сообщение, что из корзины достали чёрный шар? 1. Найдите вероятность события, что достали чёрный шар? 2. Подставьте её в формулу. !

В корзине лежат 8 чёрных и 24 белых шара. б) Сколько информации несёт сообщение, что из корзины достали шар? - формула Клода Шеннона ! 1. I – количество информации 2. n – количество возможных событий 3. p i – вероятность отдельных событий