Вероятностный подход к измерению информации. Формула Шеннона МОУ «Февральская средняя общеобразовательная школа 1» Учитель информатики: Т.А. Батукова

Вероятностный подход Приведите примеры уменьшения неопределенности знаний после получения информации о произошедшем событии. В чем состоит неопределенность знаний в опыте по бросанию монеты? Как зависит количество информации от количества возможных событий? При угадывании целого числа в диапазоне от 1 до N было получено 7 бит информации. Чему равно N? В коробке лежат 16 разноцветных карандашей. Какое количество информации содержит сообщение о том, что из коробки достали красный карандаш?

Равновероятные события 1 бит – единица количества информации величина, уменьшающая неопределенность знаний в два раза. N = 2 I

ВЕРОЯТНОСТНЫЙ ПОДХОД Клод Э́лвуд Ше́ннон февраля 2001 американский математик и электротехник, один из создателей математической теории информации.

Формула Шеннона I - количество информации; N - количество возможных событий; рi - вероятность i-го события (р = К/N, К – величина, показывающая, сколько раз произошло интересующее нас событие).

Формула Шеннона Для событий с равной вероятностью (рi=1/N) количество информации рассчитывается по формуле:

Вероятностный подход Количественная зависимость между вероятностью события (р) и количеством информации в сообщении о нем (i) выражается формулой: I = log 2 (1/p)

Задача В непрозрачном мешочке хранятся 10 белых, 20 красных, 30 синих и 40 зеленых шариков. Какое количество информации будет содержать зрительное сообщение о цвете вынутого шарика?

Решение р б = 10/100 = 0,1; р к = 20/100 = 0,2; р с = 30/100 = 0,3; р з = 40/100 = 0,4. I = - (0,1. log 2 0,1 + 0,2. log 2 0,2 + 0,3. log 2 0,3 + 0,4. log 2 0,4) I 1,85 бита

Задача В коробке имеется 50 шаров. Из них 40 белых и 10 черных. Определите количество информации в сообщении о том, что при вытаскивании «не глядя» попадется белый шар, черный шар.

Решение Обозначим р ч - вероятность попадания черного шара, р б - вероятность попадания белого шара. р ч = 40/50 = 0,8; р б = 10/50 = 0,2; I б = log 2 (1/0,2) 2,32; i ч = log 2 (1/0,8) 0,32

Вероятностный подход Чем меньше вероятность некоторого события, тем больше информации содержит сообщение об этом событии.

Задача В озере обитает окуней, пескарей, а карасей и щук по Сколько информации мы получим, когда поймаем какую - нибудь рыбу?

Решение Найдем общее количество рыб в озере: К = = Найдем вероятность попадания на удочку каждого вида рыб: Ро = 12500/50000 = 0,25 Рк = 25000/50000 = 0,5 Pп = 6250/50000 = 0,125 Pщ = 6250/50000 = 0,125 Найдем количество информации I = - (0,25.log20,25 + 0,5.log20,5 + 0,125.log20, ,125.log20,125) бит 1,75 бита

Задача 2 В корзине лежат 8 черных шаров и 24 белых. Сколько информации несет сообщение о том, что достали черный шар? Решение N = = 32 – шара всего Рч = 8/32 = ¼ - вероятность доставания черного шара I = log2 (1/¼) = 2 бита.

Домашнее задание 1.Выучить основные определения и формулы п Задания 2.4 – 2.5 (стр. 82)

Дополнительная задача В пруду живут 8000 карасей, 2000 щук и пескарей. Определите количество информации при попадании на удочку каждого из видов рыб.

Использованные источники: 1.Информатика. Задачник-практикум в 2 т. /Под ред.И.Г. Семакина, Е.К. Хеннера: Том 1. – М.: БИНОМ. Лаборатория знаний, Соколова О.Л. Универсальные поурочные разработки по информатике. 10 класс. - М., ВАКО, Угринович Н. Д. Информатика и информационные технологии. Учебник для классов, - М., БИНОМ. Лаборатория знаний Угринович Н. Д. Преподавание курса «Информатика и ИКТ» в основной и старшей школе. 7-11: Методическое пособие. - М., БИНОМ. Лаборатория знаний Угринович Н.Д. Практикум по информатике и информационным технологиям.Учебное пособие для общеобразовательных учреждений. Изд. 2-е, испр./ Н.Д. Угринович, Л.Л. Босова, Н.И. Михайлова – М.:БИНОМ. Лаборатория знаний, CD «Компьютерный практикум Windows-CD». Приложение к пособию Угринович Н. Д. Преподавание курса «Информатика и ИКТ» в основной и старшей школе. 7-11: Методическое пособие. - М., БИНОМ. Лаборатория знаний D_%D0%9A.