ИНФОРМАЦИЯ Понятие количества информации. Подходы к определению количества информации. Единицы измерения.

Е ДИНИЦЫ ИЗМЕРЕНИЯ 1 бит (binary digit, двоичная цифра) – это количество информации, которое мы получаем при выборе одного из двух возможных вариантов (вопрос: «Да» или «Нет»?) Примеры : Эта стена – зеленая? Да. Дверь открыта? Нет. Сегодня выходной? Нет. Это новый автомобиль? Новый. Ты будешь чай или кофе? Кофе. 2

Е СЛИ ВАРИАНТОВ БОЛЬШЕ … «Да» или «Нет»? 3 2 варианта – 1 бит 4 варианта – 2 бита 8 вариантов – 3 бита

Е СЛИ ВАРИАНТОВ БОЛЬШЕ … Количество вариантов Количество бит информации вариантов – между 4 (2 бита) и 8 (3 бита) Ответ: количество информации между 2 и 3 битами

Е ДИНИЦЫ ИЗМЕРЕНИЯ 1 байт (byte) = 8 бит 1 Кб (килобайт) = 1024 байта 1 Мб (мегабайт) = 1024 Кб 1 Гб (гигабайт) = 1024 Мб 1 Тб (терабайт) = 1024 Гб 1 Пб (петабайт) = 1024 Тб

Е ДИНИЦЫ ИЗМЕРЕНИЯ 1 байт (byte) – это объем компьютерной памяти, который имеет индивидуальный адрес. Примеры из истории : 1 байт = 4 бита 1 байт = 6 бит 1 байт = 12 бит Сейчас обычно : 6 1 байт = 8 бит

7 Алфавит – набор знаков, используемых при кодировании информации с помощью некоторого языка. Примеры: АБВГДЕЖЗИКЛМНОПРС Т УФХЦЧШЩЪЫЬЭЮЯ 32 ABCDEFGHIJKLMNOPQRSTUVWXYZ 26 × O Мощность алфавита – количество символов. А ЛФАВИТНЫЙ ПОДХОД Все символы несут одинаковую информацию: ! мощность алфавита информационная емкость символа

А ЛФАВИТНЫЙ ПОДХОД Задача. Определить объем информации в сообщении ПРИВЕТВАСЯ для кодирования которого используется русский алфавит (только заглавные буквы). Ответ: 10·5 бит = 50 бит считаем все символы (здесь 10 символов) мощность алфавита – 32 символа (32=2 5 ) 1 символ несет 5 бит информации Решение:

В ЕРОЯТНОСТНЫЙ ПОДХОД 9 Вероятность события – число от 0 до 1, показывающее, как часто случается это событие в большой серии одинаковых опытов. p = 0 событие никогда не происходит (нет неопределенности) p = 0,5 событие происходит в половине случаев (есть неопределенность) p = 1 событие происходит всегда (нет неопределенности) Полная система событий: одно из N событий обязательно произойдет (и только одно!). p i – вероятность выбора i -ого варианта ( i = 1,…, N )

В ЕРОЯТНОСТНЫЙ ПОДХОД 10 Вычисление вероятности Задача. В пруду живут 100 рыб, из них 20 карасей, 30 пескарей, а остальные – окуни. Какова вероятность поймать карася (пескаря, окуня), если все рыбы одинаково голодны? Формула: число «нужных» событий общее число событий Решение: караси пескари окуни Как иначе посчитать p 3 ? ?

В ЕРОЯТНОСТНЫЙ ПОДХОД 11 Как посчитать информацию, если варианты не равновероятны? – вероятность выбора i -ого варианта ( i = 1,…, N ) Идея: если случается менее вероятное событие, мы получаем больше информации. Если произошло событие i, мы получаем информацию Клод Шеннон ( ) американский математик и электротехник, один из создателей математической теории информации и криптографии.

В ЕРОЯТНОСТНЫЙ ПОДХОД 12 Задача 1. В пруду живут 100 рыб, из них 20 карасей, 30 пескарей, а остальные – окуни. Сколько информации несет сообщение о том, что рыбак поймал карася (пескаря, окуня), если все рыбы одинаково голодны? Формула: Решение: карась пескарь окунь бита бит

В ЕРОЯТНОСТНЫЙ ПОДХОД 13 Задача 2. Посчитать, чему равна информация в сообщении «Сейчас идет снег» зимой и летом. Решение: Событие 1 – идет снег, событие 2 – снег не идет. летом зимой летом бита зимой бит Что еще нужно для решения? ?

14 Д ВА ПОДХОДА : СРАВНЕНИЕ Задача 3. Отличник Вася Пупкин получил такие оценки по истории за I четверть: Сколько информации получили в этом сообщении родители? Алфавитный подход: возможны 4 разные оценки: 2, 3, 4 и 5 каждая оценка несет 2 бита информации (все одинаково!) Ответ: 5·2 бит = 10 бит Содержание информации не учитывается! !

15 Д ВА ПОДХОДА : СРАВНЕНИЕ Вероятностный подход: задаем вероятности получения всех оценок информация при получении 5, 4 и 3: Могло быть > 10 бит? ? бит < 10 бит Ответ: информации в сообщении Что еще нужно для решения? ?