Как измерить информацию? Вопрос этот очень непростой. Ответ на него зависит от того, что понимать под информацией. Но поскольку определять информацию можно по-разному, то и способы измерения тоже могут быть разными.

Измерение информации Содержательный подход Алфавитный подход

Содержательный подход к измерению информации. Для человека информация это знания. Если получение новой информации приводит к расширению знаний, то можно говорить, что такое сообщение содержит информацию. Говорят, что сообщение информативно если оно пополняет знания человека. Например, прогноз погоды на завтра информативное сообщение, а сообщение о вчерашней погоде неинформативно, т.к. нам это уже известно. Основоположником этого подхода является американский учёный Клод Элвуд Шеннон( ). По Шеннону, информация уменьшение неопределенности наших знаний. Неопределенность некоторого события это количество возможных исходов данного события. Так, например, если из колоды карт наугад выбирают карту, то неопределенность равна количеству карт в колоде. При бросании монеты неопределенность равна 2.

Единица измерения информации была определена в науке, которая называется теорией информации. Эта единица носит название «бит». Ее определение звучит так: Сообщение, уменьшающее неопределенность знаний в два раза, несет 1 бит информации. Неопределенность знаний о некотором событии это количество возможных результатов события. Содержательный подход к измерению информации. Тогда можно записать формулу: i 2 i = N N - количество событий i i - количество информации одного события

Пример: На книжном стеллаже восемь полок. Книга может быть поставлена на любую из них. Сколько информации содержит сообщение о том, где находится книга? Решение: i N = 8. i - ? 2 i 2 i = N i 2 i = 8 i 2 i = 2 3 i i = 3 бита Ответ: сообщение о том, что книга находится на любой из полок равно 3 бита.

Алфавитный подход к измерению информации Алфавитный подход к измерению количества информации основан на подсчете числа символов в сообщении. При алфавитном подходе к определению количества информации отвлекаются от содержания информации и рассматривают информационное сообщение как последовательность знаков определенной знаковой системы. Все множество используемых в языке символов будем традиционно называть алфавитом. Обычно под алфавитом понимают только буквы, но поскольку в тексте могут встречаться знаки препинания, цифры, скобки, то мы их тоже включим в алфавит. В алфавит также следует включить и пробел, т.е. пропуск между словами. Полное количество символов алфавита принято называть мощностью алфавита. В формуле i 2 i = N N - мощность алфавита i i - количество информации одного символа

Алфавитный подход к измерению информации Основоположником этого подхода является Андрей Николаевич Колмогоров,( ), великий российский ученый-математик. При алфавитном подходе к измерению информации количество информации зависит не от содержания, а от размера текста и мощности алфавита. Информационный объем текста (I), содержащего K символов вычисляют по формуле: I=K*i I=K*i где I - информационный объем текста, K - количество символов в тексте, K - количество символов в тексте, i - информационный объем одного символа. i - информационный объем одного символа.

Пример: Определите информационный объем страницы книги, если для записи текста использовались только заглавные буквы русского алфавита, кроме буквы Ё. Решение: N = 32 2 i = N 2 i = 32 2 i = 2 5 i = 5 бит На странице 3000 знаков,т.е. К=3000, тогда объем информации I =K * i I = 3000 * 5, I = бит. Ответ: информационный объем страницы книги равен бит.

1 килобайт = 1Кб=2 10 байт =1024 байта; 1 мегабайт = 1Мб= 2 10 Кб = 2 20 байта; 1 гигабайт = 1Гб = 2 10 Мб = 2 30 байта; 1 Терабайт (Тб) = 2 10 Гбайта = 2 40 байта, 1 Петабайт (Пб) = 2 10 Тбайта = 2 50 байта. 1 байт = 8 бит

А что если алфавит состоит только из двух символов 0 и 1? ii i В этом случае: N = 2; 2 i = N; 2 i = 2; i = 1 бит. При использовании двоичной системы (алфавит состоит из двух знаков: 0 и 1) каждый двоичный знак несет 1 бит информации. Интересно, что сама единица измерения информации «бит» получила свое название от английского сочетания «binary digit» - «двоичная цифра». Двоичный алфавит Достаточный алфавит Ограничения на максимальный размер алфавита теоретически не существует. Однако есть алфавит, который можно назвать достаточным. С ним мы скоро встретимся при работе с компьютером. Это алфавит мощностью 256 символов. В алфавит такого размера можно поместить все практически необходимые символы: латинские и русские буквы, цифры, знаки арифметических операций, всевозможные скобки, знаки препинания.... ii i i В этом случае: N = 256; 2 i = N; 2 i = 256; 2 i = 2 8 ; i = 8 бит. Один символ этого алфавита «весит» 8 бит или 1 байт, т.к. 1 байт = 8 бит Примеры некоторых алфавитов.

Скорость передачи информации Прием-передача информации могут происходить с разной скоростью. Количество информации, передаваемое за единицу времени, есть скорость передачи информации или скорость информационного потока. Очевидно, эта скорость выражается в таких единицах, как бит в секунду (бит/с), байт в секунду (байт/с), килобайт в секунду (Кбайт/с) и т.д.