Подходы к определению количества информации СОДЕРЖАТЕЛЬНЫЙ АЛФАВИТНЫЙ Количество символов в сообщении * вес одного символа Смысл сообщения

Вариант 1 Для записи текста использовался компьютерный алфавит. Каждая страница содержит 16 строк по 24 символов в строке. Сколько Кбайт информации содержат 4 страниц текста? Вариант 2 Сообщение занимает 3 страницы по 25 строк. В каждой строке записано по 60 символов. Сколько символов в использованном алфавите, если все сообщение содержит 1125 байтов?

Вариант 1 1) Как научное направление «Кибернетика» (Норберт Винер) рассматривает информацию? 2) Функциональная концепция... Вариант 2 1) Как научное направление «Теория связи» (Клод Шеннон) рассматривает информацию? 2) Антропоцентрическая концепция …

Тема: Содержательный подход к измерению информации.

Информация - это сообщение, которое приводит к уменьшению неопределённости знаний. Информация - это сообщение, которое приводит к уменьшению неопределённости знаний С точки зрения теории информации:

1 бит Сообщение, уменьшающее неопределенность знаний в два раза, несет 1 бит информации.

Бросание монет У монеты, как известно, две стороны: «орел» «решка» Если бросить ее на стол, монета обязательно упадет вверх либо «орлом», либо «решкой». Таким образом, возможны два варианта – два исхода событий. Количество информации – 1 бит

После написания контрольной работы мы думаем какую оценку получили. Какое наименьшее количество вопросов можно задать, чтобы получит ответ? С ответом на каждый вопрос уменьшаем неопределенность в 2 раза Получили 2 бита информации Вариантов оценки – 4.

Загадаем целое число в диапазоне от 1 до 8. Отгадаем его с трёх попыток. Загадаем целое число в диапазоне от 1 до 16. Отгадаем его с четырёх попыток. Каждый раз задаем вопрос, который уменьшал неопределённость в 2 раза.

Сценарий отгадывания числа Пусть загадано число 5 (мы не знаем это). 1 вопрос (даст 1 бит информации): - Больше 8? – Нет. 2 вопрос (даст 2 бит информации): - Больше 4? – Да. 3 вопрос (даст 3 бит информации): -Больше 6? – Нет. -Больше 6? – Нет. 4 вопрос (даст 4 бит информации): -Это 5? – Да. -Это 5? – Да. Ответ: Задуманное число 5. Вывод: При отгадывании задуманного числа в диапазоне от 1 до 16, достаточно 4 вопроса (получение 4 бита информации).

Примененный метод – называется методом половинного деления: Ответ на каждый вопрос уменьшает неопределенность знания наполовину и несет 1 бит информации.

Составим таблицу из предыдущих примеров: События Кол-во вариантов Бит информации Бросание монеты 21 Отгадывание оценки 42 Отгадывание числа от 1 до 8 83 Отгадывание числа от 1 до Все события (варианты) - равновероятны, ни одно из них не имеет преимущества перед другими.

Если посмотреть таблицу, то можно заметить закономерность. От частных примеров приходим к обобщенной формуле: Если ввести обозначения: N – число вариантов равновероятных событий (неопределенность знаний), i – количество информации в сообщении о том, что произошло одно из N событий. Формула Хартли N = 2 i

Задания Пример 1. Сколько информации несет сообщение о том, что из колоды карт достали карту красной масти? Решение: 1 бит, т. к. красных и черных карт одинаковое количество.

Задания Пример 2. Сколько информации несет сообщение о том, что из колоды карт достали карту бубновой масти? Решение: 2 бита, так как всего в колоде 4 масти, и количество карт в них одинаковое.

Пример 3. Проводятся две лотереи «4 из 32» и «5 из 64». Сообщение о результатах, какой из лотерей несет больше информации?

Решение: Вытаскивание любого номера из лотерейного барабана – события равновероятные. Поэтому в первой лотерее количество информации в сообщении об одном номере равно 5 бит (2 5 = 32), а во втором – 6 бит (2 6 = 64). Сообщение о 4-х номерах в первой лотерее несет 5 * 4 = 20 бит. Сообщение о 5-ти номерах второй лотереи несет 6 * 5 = 30 бит. Следовательно, сообщение о результатах второй лотереи несет больше информации, чем первой.

Пример 4. В течение четверти ученик получил 100 оценок. Сообщение о том, что он получил четверку, несет 2 бита информации. Сколько четверок ученик получил за четверть?

Решение: Данный результат мог быть получен путем следующих рассуждений: 2 бита информации несет сообщение об одном из четырех равновероятных событий (2 2 = 4). То есть вероятность получения четверок равна ¼. Тогда количество четверок определится как: 100 / 4 = 25. Таким образом, в течение четверти ученик получил 25 четверок.

Самостоятельное решение Задача 1. Вы подошли к светофору, когда горел желтый свет. После этого загорелся зеленый. Какое количество информации вы при этом получили?

Самостоятельное решение Задача 2. Сообщение о том, что ваш друг живет на 9 этаже, несет 4 бита информации. Сколько этажей в доме?

Самостоятельное решение Задача 3. В корзине 8 шаров. Все шары разного цвета. Сколько информации несет сообщение о том, что из корзины достали красный шар?

Самостоятельное решение Задача 4. Сколько бит информации несет сообщение о том, что из колоды в 32 карты достали даму крести?

Самостоятельное решение Задача 5. в школьной библиотеке 16 стеллажей с книгами. На каждом стеллаже 8 полок. Библиотекарь сообщил Пете, что нужная ему книга находится на пятом стеллаже на третьей сверху полке. Какое количество информации библиотекарь передал Пете?

Самостоятельное решение Задача 6. При угадывании целого числа в некотором диапазоне было получено 6 бит информации. Сколько чисел содержится в этом диапазоне?

Самостоятельное решение Задача 7. Сообщение о том, что Петя живет во втором подъезде, несет 3 бита информации. Сколько подъездов в доме?

Ответы Задача 1. 1 бит. Задача этажей Задача 3. 3 бита. Задача 4. 5 бит. Задача 5. 7 битов. Задача числа. Задача 7. 8 подъездов.

Сообщение, уменьшающее неопределенность знаний в два раза, несет 1 бит информации. Формула вычисления количества информации: Формула вычисления количества информации: 2 I = N N - возможное количество равновероятных событий I - количество информации в сообщении о том, что произошло одно из N событий Самое главное!