Содержательный подход к измерению информации. Формула Шеннона.

Информация для человека Информация для человека – это мера уменьшения неопределенности знаний. Единица количества информации, которое содержит сообщение, уменьшающее неопределенность в два раза.

Вероятность и информация. События равновероятны, События равновероятны, если ни одно из них не имеет преимущества перед другими. Выпадение орла или решки при бросании монеты. Выпадение одной из шести граней кубика. Выпадение шара при розыгрыше лотереи.

Вероятность и информация. События неравновероятны, События неравновероятны, если одно из событий имеет преимущества перед другими. Выпадение дождя или снега летом. Получение пятерки и двойки для ученика – отличника. Выпадение грани при бросании несимметричной монеты.

Количество информации Если события равновероятны, то: I = Log 2 N I – количество информации N – количество возможных событий Формула получена Ричардом Хартли (1928 год).

Количество информации Если события неравновероятны, то: I – количество информации N – количество возможных событий Формула получена Клодом Шенноном (1948 год). I = - P i * Log 2 P i P i – вероятность i-го события

Вероятность i - го события P i – вероятность i-го события – численная мера объективной возможности появления этого события. Pi =Pi =Pi =Pi =mn m – число элементарных событий, благоприятствующих этому событию. n – общее число всех элементарных событий.

Объявляются оценки экзамена по информатике (2, 3, 4 или 5). Какое количество информации будет нести сообщение об оценке учащегося А, который выучил половину билетов, и сообщение об оценке учащегося В, который выучил все билеты.

1. Опыт показывает, что для учащегося A все четыре оценки (события) равновероятны и тогда количество информации, которое несет сообщение об оценке можно вычислить по формуле Хартли: I = Log 2 N = Log 2 4 = 2 бит. Ответ: I (А)= 2 бит

2. На основании опыта можно также предположить, что для учащегося B наиболее вероятной оценкой является «5». Вероятность оценки «4» в два раза меньше, а вероятности оценок «2» и «3» еще в два раза меньше. P 1 = 1 / 2P 2 = 1 / 4 P 3 = Р 4 = 1 / 8

3. Так как события неравновероятны, воспользуемся для подсчета количества информации в сообщении формулой Шеннона: I = -(1/2*log 2 1/2 + 1/4*log 2 1/4 + 1/8*log 2 1/8 + 1/8*log 2 1/8) Ответ: I (В)= 1,75 бит

В непрозрачном мешочке хранятся 10 белых, 20 красных, 30 синих и 40 зеленых шариков. Какое количество информации будет содержать зрительное сообщение о цвете вынутого шарика. Ответ: I = 1,85 бит

Какое количество вопросов достаточно задать вашему собеседнику, чтобы точно определить день и месяц его рождения? Ответ: 5 вопросов о дне 4 вопроса о месяце 5 вопросов о дне 4 вопроса о месяце