Вопрос «Как измерить информацию?» очень непростой. Ответ зависит от того, что понимать под информацией. Но поскольку определять информацию можно по-разному, то и способы измерения тоже могут быть разными.

Пока мы с вами научились различать лишь две ситуации: «нет информации» – «есть информация», то есть количество информации равно нулю или не равно нулю. Но, очевидно, что для измерения информации этого недостаточно. Нужна единица измерения, тогда мы сможем определять, в каком сообщении информации больше, в каком – меньше. бит Эта единица носит название бит. Сообщение, уменьшающее неопределенность знаний в два раза, несет 1 бит информации.

Что такое «неопределенность знаний»? Лучше всего это объяснить на примерах. Допустим, вы бросаете монету, загадывая, что выпадет: орел или решка? Есть всего два варианта возможного результата бросания монеты. Причем, ни один из этих вариантов не имеет преимущества перед другим. В таком случае говорят, что они равновероятно. Перед подбрасыванием монеты неопределенность знаний о результате равна двум. Игральный кубик с шестью гранями может с равной вероятностью упасть на любую из них. Значит, неопределенность знаний о результате бросания кубика равна шести.

Неопределенность знаний о некотором событии – это количество возможных результатов события (бросания монеты, кубика, вытаскивания жребия и пр.). После того, как вы бросили монету и посмотрели на нее, вы получили зрительное сообщение, что выпал, например, орел. Произошло одно из двух возможных событий. Неопределенность знаний уменьшилась в два раза: было два варианта, остался один. Узнав результат бросания монеты, вы получили 1 бит информации. Сообщение о том, что произошло одно событие из двух равновероятных, несет 1 бит информации.

Задача 1: Студент на экзамене может получить одну из четырех оценок от 2 до 5. Сколько бит информации содержится в его ответе на вопрос: «Что получил?». Задача 2: На книжном стеллаже восемь полок. Книга может быть поставлена на любую из них. Сколько информации содержит сообщение о том, где находится книга? Метод поиска, на каждом шаге которого отбрасывается половина вариантов, называется методом половинного деления. Применим этот метод.

Обозначим буквой N количество возможных событий или неопределенность знаний. Буквой i будем обозначать количество информации в сообщении о том, что произошло одно из N событий. В примере с монетойN=2, i =1. В примере с оценкамиN=4, i =2. В примере со стеллажамиN=8, i =3. Количество информации (i), содержащееся в сообщении о том, что произошло одно из N равновероятных событий, определяется из решения уравнения: 2 i =N.

Все множество используемых в языке символов будем традиционно называть алфавитом. Обычно под алфавитом понимают только буквы, но поскольку в тексте могут встречаться знаки препинания, цифры, скобки, то мы их тоже включим в алфавит. В алфавит также следует включить и пробел, то есть пропуск между словами. Полное количество символов алфавита принято называть мощностью алфавита. Будем обозначать эту величину буквой N.

Например, мощность компьютерного алфавита равна 256. Пусть текст поступает последовательно, по одному знаку. Предположим, что каждый появляющийся на ленте символ с одинаковой вероятностью может быть любым стволом алфавита. В каждой очередной позиции текста может появиться любой из N символов. Тогда, согласно известной нам формуле, каждый такой символ несет i бит информации, которые можно определить из решения уравнения: 2 i =N. (Для N=256 получаем i=8 бит.) А теперь для того, чтобы найти количество информации во всем тексте, нужно посчитать число символов в нем и умножить на i.

Следовательно, при алфавитном подходе к измерению информации от содержания не зависит. Количество информации зависит от размера текста и от мощности алфавита. (Отсюда следует, что нельзя сравнивать информационные объемы текстов, написанных на разных языках, только по размеру текста.) Количество информации, содержащееся в символьном сообщении, равно K i, где K – количество символов в тексте сообщения, а i – информационный вес символа, который находится из уравнения 2 i =N, где N – мощность используемого алфавита.

бит. Наименьшей единицей информации является бит. байт. Поскольку 256=2 8, то один символ компьютерного алфавита «весит» 8 бит. Причем 8 бит информации – это настолько характерная величина, что ей присвоили свое название – байт. Для измерения больших объемов информации используются следующие производные от байта единицы: 1 килобайт= 1Кбайт= 2 10 байт= 1024 байт 1 мегабайт= 1Мбайт= 2 20 байт= 1024 Кбайт 1 гигабайт= 1Гбайт=2 30 байт=1024 Мбайт 1 терабайт= 1Тбайт=2 40 байт=1024 Гбайт