Вероятностный подход и формула Шеннона

Формулу для вычисления количества информации, учитывающую неодинаковую вероятность событий, предложил К.Шеннон в 1948 году.

В коробке имеются 50 шаров, из них 40 белых и 10 черных. Очевидно, вероятность того, что при вытаскивании «не глядя» попадется белый шар, больше, чем попадания черного. Определить количественную вероятность для шаров каждого цвета.

Сережа - лучший ученик в классе. Вероятность того, что за контрольную по математике он получит «5», больше, чем вероятность получения «двойки». За год обучения Сережа получил 100 отметок. Из них: 60 пятёрок, 30 четверок, 8 троек и 2 двойки. Допуская, что данная тенденция сохранится и в будущем, вычислим вероятность получения каждой оценки.

В пруду живут 8000 карасей, 2000 щук и пескарей. Самая большая вероятность для рыбака – поймать в этом пруду пескаря, на втором месте – карась, на третьем – щука. Определить с какой вероятностью будет поймана та или иная рыба.

ФОРМУЛА ШЕННОНА Среднее количество информации для событий с различными вероятностями определяется по формуле: Если события равновероятны ( p i =1/N ): I – среднее количество информации, N – количество возможных событий p i – вероятности отдельных событий Количество информации для события с различными вероятностями определяется по формуле: p – вероятность события

ФОРМУЛА ШЕННОНА Количество информации для задачи о шарах (событий с различными вероятностями) определяется по формуле:

ЗАДАНИЕ «БРОСАНИЕ ПИРАМИДКИ» Определить количество информации, которую мы получим в результате бросания несимметричной и симметричной пирамидок. При бросании несимметричной четырехгранной пирамидки вероятности отдельных событий равны: Количество информации рассчитываем по формуле: p 1 =1/2;p 2 =1/4;p 3 =1/8;p 4 =1/8. I = (1/2·log 2 1/2 + 1/4·log 2 1/4 + 1/8·log 2 1/8 + 1/8·log 2 1/8) битов = = (1/2·log /4·log /8·log /8·log 2 8) битов = = (1/2 + 2/4+ 3/8+ 3/8) битов = 14/8 битов = 1,75 бита. При бросании симметричной четырехгранной пирамидки вероятности отдельных событий равны между собой: Количество информации рассчитываем по формуле: p 1 = p 2 = p 3 = p 4 =1/4. I = log 2 4 = 2 бита. Количество информации, которую мы получаем, достигает максимального значения, если события равновероятны.

ВЫБОР ПРАВИЛЬНОЙ СТРАТЕГИИ На получении максимального количества информации строится выбор правильной стратегии в игре «Угадай число», в которой первый участник загадывает целое число (например, 3) из заданного интервала (например от 1 до 16), а второй должен «угадать» задуманное число. Вопрос второго участника Ответ первого участника Неопределенность знания (количество возможных событий) Полученное количество информации 16 Число больше 8? Число больше 4? Число больше 2? Это число 3? Информационная модель игры «Угадай число» Нет81 бит Нет Да 4 2 2

Домашнее задание Стр. 114 контрольные вопросы; Задание 2.3.

КОМПЬЮТЕРНЫЙ ПРАКТИКУМ Задача. В непрозрачном мешочке хранятся 10 белых, 30 красных, 30 синих и 40 зеленых шариков. Какое количество информации будет содержать зрительное сообщение о цвете вынутого шарика? Так как количество шариков различных цветов неодинаково, то вероятности зрительных сообщений о цвете вынутого из мешочка шарика также различаются и равны количеству шариков данного цвета, деленному на общее количество шариков: Определение количества информации р б = 0.1; p к = 0,2; р с = 0,3; р з = 0,4. События неравновероятны, поэтому воспользуемся формулой I = (0,1·log 2 0,1 + 0,2·log 2 0,2 + 0,3·log 2 0,3 + 0,4·log 2 0,4) битов. Для вычисления этого выражения воспользуемся компьютерным калькулятором Wise Calculator. Таким образом, I 1,85 бита.

КОМПЬЮТЕРНЫЙ ПРАКТИКУМ Задача 2.3 а. В непрозрачном мешочке хранятся 25 белых, 25 красных, 25 синих и 25 зеленых шариков. Какое количество информации будет содержать зрительное сообщение о цвете вынутого шарика? Определение количества информации Задача 2.3 б. В непрозрачном мешочке хранятся 30 белых, 30 красных, 30 синих и 10 зеленых шариков. Какое количество информации будет содержать зрительное сообщение о цвете вынутого шарика?