Измерение информации

Измерение информации Содержательный подход Алфавитный подход

Содержательный подход к измерению информации. Основоположником этого подхода является американский учёный Клод Элвуд Шеннон( ). По Шеннону, информация уменьшение неопределенности наших знаний. Неопределенность некоторого события это количество возможных исходов данного события. Так, например, если из колоды карт наугад выбирают карту, то неопределенность равна количеству карт в колоде. При бросании монеты неопределенность равна 2.

Единица измерения информации была определена в науке, которая называется теорией информации. Эта единица носит название «бит». Ее определение звучит так: Сообщение, уменьшающее неопределенность знаний в два раза, несет 1 бит информации. Неопределенность знаний о некотором событии это количество возможных результатов события. Содержательный подход к измерению информации Тогда можно записать формулу: i 2 i = N N - количество событий i i - количество информации одного события

Пример: На книжном стеллаже восемь полок. Книга может быть поставлена на любую из них. Сколько информации содержит сообщение о том, где находится книга? Решение: i N = 8. i - ? 2 i 2 i = N i 2 i = 8 i 2 i = 2 3 i i = 3 бита Ответ: сообщение о том, что книга находится на любой из полок равно 3 бита.

Алфавитный подход к измерению информации Основоположником этого подхода является Андрей Николаевич Колмогоров,( ), великий российский ученый-математик.

Пример: Определите информационный объем страницы книги, если для записи текста использовались только заглавные буквы русского алфавита, кроме буквы Ё. Решение: N = 32 2 i = N 2 i = 32 2 i = 2 5 i = 5 бит На странице 3000 знаков,т.е. К=3000, тогда объем информации I =K * i I = 3000 * 5, I = бит. Ответ: информационный объем страницы книги равен бит.

Степени числа =12 6 = =22 7 = =42 8 = =82 9 = = = =32

Решите задачу: В корзине лежат 8 шаров. Все шары разного цвета. Сколько информации несет сообщение о том, что из корзины достали красный шар? Ответ: 3 бита.

Решите задачу: Алфавит племени Мульти состоит из 8 букв. Какое количество информации несет одна буква этого алфавита? Ответ: 3 бита.

Решите задачу: Сообщение, записанное буквами из 64- символьного алфавита, содержит 20 символов. Какой объём информации оно несёт? Ответ: 120 битов.

Решите задачу: Сколько килобайтов составит сообщение, содержащее битов? Ответ: 1,5 Кбайта.