Вероятностный подход к определению количества информации. Формула Шеннона 10 класс

Для вычисления количества информации в сообщении о неравновероятном событии используют следующую формулу: I=log 2 (1/p) или 1/р=2 i где I – это количество информации, р – вероятность события.

Вероятность события выражается в долях единицы и вычисляется по формуле: р=K/N где К – величина, показывающая сколько раз произошло интересующее нас событие, N – общее число возможных исходов какого- то процесса.

Задача: Бабушка испекла 8 пирожков с капустой, 24 пирожков с повидлом. Маша съела один пирожок. Вычислить вероятность выбора пирожка с разной начинкой и количество информации, которое при этом было получено. Решение: Пусть К 1 – это количество пирожков с повидлом, К 1 =24 К 2 – количество пирожков с капустой, К 2 =8 N – общее количество пирожков, N = К 1 +К 2 =24+8=32 Вероятность выбора пирожка с повидлом: р 1 =24/32=3/4=0,75. Вероятность выбора пирожка с капустой: р 2 =8/32=1/4=0,25. Обращаем внимание учащихся на то, что в сумме все вероятности дают 1. Вычислим количество информации, содержащееся в сообщении, что Маша выбрала пирожок с повидлом: I 1 =log 2 (1/p 1 )= log 2 (1/0,75)= log 2 1,3=1,15470 бит. Вычислим количество информации, содержащееся в сообщении, если был выбран пирожок с капустой: I 2 =log 2 (1/p 2 )= log 2 (1/0,25)= log 2 4=2 бит.

Качественную связь между вероятностью события и количеством информации в сообщении об этом событии можно выразить так: чем меньше вероятность некоторого события, тем больше информации содержит сообщение об этом событии.

Вопрос: сколько получим информации при выборе пирожка любого вида? Ответить на этот вопрос нам поможет формула вычисления количества информации для событий с различными вероятностями, которую предложил в 1948 г. американский инженер и математик К.Шеннон. Если I-количество информации, N-количество возможных событий, р i - вероятности отдельных событий, где i принимает значения от 1 до N, то количество информации для событий с различными вероятностями можно определить по формуле: можно расписать формулу в таком виде:

Рассмотрим формулу на нашем примере: I = - (р 1log 2 p 1 + р 2log 2 p 2 ) = - (0,25 log 2 0,25+0,75 log 2 0,75) -(0,25(-2)+0,75(-0,42)) =0,815 бит

Задача: В корзине лежат 32 клубка красной и черной шерсти. Среди них 4 клубка красной шерсти. Сколько информации несет сообщение, что достали клубок красной шерсти? Сколько информации несет сообщение, что достали клубок шерсти любой окраски?