ИЗМЕРЕНИЕ ИНФОРМАЦИИ Вероятностный подход Алфавитный подход ИНФОРМАЦИЯ по отношению к человеку – это ЗНАНИЯ по отношению к техническим устройствам – это Последовательность сигналов (символов) Измерение информации через уменьшение неопределенности знаний с учетом вероятности событий Измерение информации через количество символов алфавита с учетом информационного веса символов

ИЗМЕРЕНИЕ ИНФОРМАЦИИ: вероятностный подход Информация для человека это знания Знание – область определенности ЗНАНИЕ Информация, которую получает человек, приводит к уменьшению неопределенности знаний Незнание – область неопределенности Незнание

Сообщение о результате приводит в уменьшению неопределенности наших знаний в 2 раза. Возможные события. Они равновероятны Произошедшее событие Информация – мера уменьшения неопределенности знаний

Сколько равновероятных событий может произойти при бросании равносторонней четырехгранной пирамидки, шестигранного куба? ? ? Во сколько раз уменьшится неопределенность наших знаний при наступлении этих событий?

Единицей количества информации является 1 бит – величина, уменьшающая неопределенность в два раза. Какое количество информации получено при наступлении события?

ЕДИНИЦЫ ИЗМЕРЕНИЯ ИНФОРМАЦИИ 1 байт = 2 3 бит = 8 бит 1 Кбайт = 2 10 байт = 1024 байт 1 Мбайт = 2 10 Кбайт = 1024 Кбайт 1 Гбайт = 2 10 Мбайт = 1024 Мбайт

Количество возможных событий Количество полученной информации Какова связь между количеством возможных событий и количеством полученной информации? 1 бит – величина, уменьшающая неопределенность в два раза бит 2 бита

Для равновероятных событий: N = 2 I где N – количество возможных событий, I – количество информации Для событий с различными вероятностями (формула Шеннона): где N – количество возможных событий, I – количество информации, p i – вероятность i-го события I = log 2 N

РЕШЕНИЕ ЗАДАЧ Какое количество информации несет в себе сообщение о том, что нужная вам программа находится на одной из восьми дискет? N = 2 I 8 = 2 I Ответ: 3 бита

РЕШЕНИЕ ЗАДАЧ Какое количество информации получит второй игрок при игре в крестики-нолики на поле 8х8 после первого хода первого игрока, играющего крестиками? N = 2 I 64 = 2 I Ответ: 6 бит

РЕШЕНИЕ ЗАДАЧ Сообщение о том, что ваш друг живет на десятом этаже несет в себе 4 бита информации. Сколько этажей в доме? N = 2 I N = 2 4 Ответ: 16

РЕШЕНИЕ ЗАДАЧ 1. В рулетке общее количество лунок равно 128. Какое количество информации мы получим при остановке шарика в одной из лунок? 2. Происходит выбор одной карты из колоды в 32 карты. Какое количество информации мы получим при выборе одной карты? 3. Сообщение о том, что Пети живет во втором подъезде, несет 3 бита информации. Сколько подъездов в доме? 4. В школьной библиотеке 16 стеллажей с книгами. На каждом стеллаже 8 полок. Библиотекарь сообщил Пете, что нужная ему книга находится на пятом стеллаже на третьей сверху полке. Какое количество информации передал библиотекарь Пете?

РЕШЕНИЕ ЗАДАЧ 5. При угадывании целого числа в диапазоне от 1 до N было получено 7 бит информации. Чему равно N? 6. При угадывании целого числа в некотором диапазоне было получено 6 бит информации. Сколько чисел содержит этот диапазон? 7. Какое количество информации о цвете вынутого шарика будет получено, если в непрозрачном пакете хранятся: 25 белых, 25 красных, 25 синих и 25 зеленых шариков? 8. Какое количество вопросов достаточно задать вашему собеседнику, чтобы точно определить день и месяц его рождения? (На вопросы можно отвечать только «Да» и «Нет»).

РЕШЕНИЕ ЗАДАЧ Какое количество информации о цвете вынутого шарика будет получено, если в непрозрачном пакете хранятся: 10 белых, 20 красных, 30 синих и 40 зеленых шариков? P бел. = 10/100 = 0,1 P красн. = 20/100 = 0,2 P син. = 30/100 = 0,3 P зел. = 40/100 = 0,4 I = – (0,1log 2 0,1 + 0,2log 2 0,2 + 0,3log 2 0,3 + 0,4log 2 0,4) 1,85 бита Ответ: 1,85 бита

РЕШЕНИЕ ЗАДАЧ 7. Какое количество информации о цвете вынутого шарика будет получено, если в непрозрачном пакете хранятся: 30 белых, 30 красных, 30 синих и 10 зеленых шариков? 8. Заполните пропуски числами: 5 Кбайт = __ байт = __ бит __ Кбайт = __ байт = бит __ Кбайт = __ байт = 213 бит __ Гбайт = 1536 Мбайт = __ Кбайт 512 Кбайт = 2 ? байт = 2 ? бит

Позволяет определить количество информации в тексте, отвлекаясь от содержания информации, воспринимая ее как последовательность знаков. Алфавит – множество символов, используемых для записи текста. Мощность алфавита – полное количество символов в алфавите. Если допустить, что все символы алфавита встречаются в тексте с одинаковой частотой (равновероятно), то для определения количества информации можно воспользоваться формулой: ИЗМЕРЕНИЕ ИНФОРМАЦИИ: алфавитный подход N = 2 I

1 бит – это количество информации, содержащееся в одном сообщении источника равновероятных сообщений с объемом алфавита равным двум.

Для русского алфавита (без буквы ё): Мощность алфавита (количество равновероятных событий N) = 32, тогда количество информации I, которое несет каждый символ, вычисляется по формуле: 32 = 2 I и равно 5 бит. Какое количество информации несет один символ алфавита мощностью 2, 4, 8, 16, 256 символов?

Алфавит из 256 символов используется для представления данных в компьютере. Пусть К – количество символов в тексте, i – количество информации, которое несет 1 символ. Тогда при алфавитном подходе размер информации, содержащейся в тексте I, вычисляется по формуле: I = К · i

1. Книга, набранная с помощью компьютера, содержит 150 страниц. На каждой странице – 40 строк, в каждой строке – 60 символов. Какой объем информации в книге? 2. Алфавит племени Мульти состоит из 8 букв. Какое количество информации несет одна буква этого алфавита? 3. Сообщение, записанное буквами из 64-х символьного алфавита, содержит 20 символов. Какой объем информации оно несет? 4. Информационное сообщение объемом 1,5 Кбайта содержит 3072 символа. Сколько символов содержит алфавит, при помощи которого записано это сообщение? РЕШЕНИЕ ЗАДАЧ

5. Объем сообщения, содержащего 2048 символов, составил 1/512 часть Мбайта. Каков размер алфавита, с помощью которого записано сообщение? 6. Сколько символов составляет сообщение, записанное с помощью 16-ти символьного алфавита, если объем его составил 1/16 часть Мбайта? 7. Сколько килобайтов составит сообщение из 384 символов 16-ти символьного алфавита?

9. Для записи сообщения использовался 64-х символьный алфавит. Каждая страница содержит 30 строк. Все сообщение содержит 8775 байт информации и занимает 6 страниц. Сколько символов в строке? 10. Сообщение занимает 2 страницы и содержит 1/16 Кбайт информации. На каждой странице записано 256 символов. Какова мощность алфавита? 11. Пользователь компьютера, хорошо владеющий навыками ввода информации с клавиатуры, может вводить в минуту 100 знаков. Мощность алфавита, используемого в компьютере, равна 256. Какое количество информации в байтах может ввести пользователь за 1 минуту. 12. Скорость чтения ученика 10 класса составляет приблизительно 250 символов в минуту. Приняв мощность используемого алфавита за 64, определите, какой объем информации в килобайтах получит ученик, если он будет непрерывно читать в течение 40 минут.