Формула Шеннона

ФОРМУЛА ШЕННОНА Количество информации для событий с различными вероятностями определяется по формуле: Если события равновероятны ( p i =1/N ): I – количество информации, N – количество возможных событий p i – вероятности отдельных событий

ЗАДАНИЕ «БРОСАНИЕ ПЕРАМИДКИ» Определить количество информации, которую мы получим в результате бросания несимметричной и симметричной пирамидок. При бросании несимметричной четырехгранной пирамидки вероятности отдельных событий равны: Количество информации рассчитываем по формуле: p 1 =1/2;p 2 =1/4;p 3 =1/8;p 4 =1/8. I = (1/2·log 2 1/2 + 1/4·log 2 1/4 + 1/8·log 2 1/8 + 1/8·log 2 1/8) битов = = (1/2·log /4·log /8·log /8·log 2 8) битов = = (1/2 + 2/4+ 3/8+ 3/8) битов = 14/8 битов = 1,75 бита. При бросании симметричной четырехгранной пирамидки вероятности отдельных событий равны между собой: Количество информации рассчитываем по формуле: p 1 = p 2 = p 3 = p 4 =1/4. I = log 2 4 = 2 бита. Количество информации, которую мы получаем, достигает максимального значения, если события равновероятны.

ВЫБОР ПРАВИЛЬНОЙ СТРАТЕГИИ На получении максимального количества информации строится выбор правильной стратегии в игре «Угадай число», в которой первый участник загадывает целое число (например, 3) из заданного интервала (например от 1 до 16), а второй должен «угадать» задуманное число. Вопрос второго участника Ответ первого участника Неопределенность знания (количество возможных событий) Полученное количество информации 16 Число больше 8?Нет81 бит Число больше 4?Нет41 бит Число больше 2?Да21 бит Это число 3?Да11 бит Информационная модель игры «Угадай число»

КОМПЬЮТЕРНЫЙ ПРАКТИКУМ Задача. В непрозрачном мешочке хранятся 10 белых, 30 красных, 30 синих и 40 зеленых шариков. Какое количество информации будет содержать зрительное сообщение о цвете вынутого шарика? Так как количество шариков различных цветов неодинаково, то вероятности зрительных сообщений о цвете вынутого из мешочка шарика также различаются и равны количеству шариков данного цвета, деленному на общее количество шариков: Определение количества информации р б = 0.1; p к = 0,2; р с = 0,3; р з = 0,4. События неравновероятны, поэтому воспользуемся формулой I = (0,1·log 2 0,1 + 0,2·log 2 0,2 + 0,3·log 2 0,3 + 0,4·log 2 0,4) битов. Для вычисления этого выражения воспользуемся компьютерным калькулятором Wise Calculator. Таким образом, I 1,85 бита.