К. Поляков, Вероятность события – число от 0 до 1, показывающее, как часто случается это событие в большой серии одинаковых опытов. p = 0событие никогда не происходит (нет неопределенности) p = 0,5 событие происходит в половине случаев (есть неопределенность) p = 1событие происходит всегда (нет неопределенности) Полная система событий: одно из N событий обязательно произойдет (и только одно!). Вероятностный подход p i – вероятность выбора i -ого варианта ( i = 1,…, N ) 1

К. Поляков, Вероятностный подход Вычисление вероятности Задача. В пруду живут 100 рыб, из них 20 карасей, 30 пескарей, а остальные – окуни. Какова вероятность поймать карася (пескаря, окуня), если все рыбы одинаково голодны? Формула: число «нужных» событий общее число событий Решение: караси пескари окуни Как иначе посчитать p 3 ? ?

К. Поляков, Вероятностный подход Как посчитать информацию, если варианты не равновероятны? – вероятность выбора i -ого варианта ( i = 1,…, N ) Идея: если случается менее вероятное событие, мы получаем больше информации. Если произошло событие i, мы получаем информацию Клод Шеннон ( ) американский математик и электротехник, один из создателей математической теории информации и криптографии.

К. Поляков, Вероятностный подход Задача 1. В пруду живут 100 рыб, из них 20 карасей, 30 пескарей, а остальные – окуни. Сколько информации несет сообщение о том, что рыбак поймал карася (пескаря, окуня), если все рыбы одинаково голодны? Формула: Решение: карась пескарь окунь бита бит

К. Поляков, Вероятностный подход Задача 2. Посчитать, чему равна информация в сообщении «Сейчас идет снег» зимой и летом. Решение: Событие 1 – идет снег, событие 2 – снег не идет. летом зимой летом бита зимой бит Что еще нужно для решения? ?

К. Поляков, Два подхода: сравнение Задача 3. Отличник Вася Пупкин получил такие оценки по истории за I четверть: Сколько информации получили в этом сообщении родители? Алфавитный подход: возможны 4 разные оценки: 2, 3, 4 и 5 каждая оценка несет 2 бита информации (все одинаково!) Ответ: 5·2 бит = 10 бит Содержание информации не учитывается! ! 6

К. Поляков, Два подхода: сравнение Вероятностный подход: задаем вероятности получения всех оценок информация при получении 5, 4 и 3: Могло быть > 10 бит? ? бит < 10 бит Ответ: информации в сообщении Что еще нужно для решения? ? 7

К. Поляков, Информация и знание знание незнание получение информации знание незнание Неопределенность – недостаток знаний (незнание). при получении информации знания увеличиваются, неопределенность уменьшается чем больше получено информации, тем больше уменьшается неопределенность информация – мера уменьшения неопределенности Как измерить неопределенность? ? 8

К. Поляков, Формула Шеннона (1948) Неопределенность (энтропия системы) Система двух событий: 01 0,5 1 I Средняя информация (неопределенность) максимальна, когда все события равновероятны. p1p1 p 2 = 1 – p 1 Когда неопределенность наибольшая? ? Информация = снятая неопределенность!

10 Семантическая теория Ю.А. Шрейдер: Тезаурус – знания приемника информации о внешнем мире, его способность воспринимать те или иные сообщения. I тезаурус наилучшее восприятие сведения не новы ничего непонятно…