Измерение информации. Алфавитный подход

Алфавитный (объемный) подход к измерению информации применяется в цифровых (компьютерных) системах хранения и передачи информации. В этих системах используется двоичный способ кодирования информации. При алфавитном подходе для определения количества информации имеет значение лишь размер (объем) хранимого и передаваемого кода. При алфавитном подходе к измерению информации количество информации зависит от объема текста (т.е. от числа знаков в тексте) и от мощности алфавита.

Правило. Количество информации V, содержащееся в сообщении равно V=КI, где К – число символов в сообщении, I – информационная емкость знака, которая находится из уравнения 2 I =N.

Если, например, I = 2, то можно построить 4 двухразрядные комбинации из нулей и единиц, т. е. закодировать 4 символа. При I = 3 существует 8 трехразрядных комбинаций нулей и единиц (кодируется 8 символов).

Если алфавит имеет мощность M, то количество всех возможных «слов» (символьных цепочек) длиной I равно N=M I ; для двоичного кодирования (мощность алфавита M = 2 символа) получаем известную формулу: N=2 I

Решение задач 1. Световое табло состоит из лампочек. Каждая лампочка может находиться в одном из трех состояний («включено», «выключено» или «мигает»). Какое наименьшее количество лампочек должно находиться на табло, чтобы с его помощью можно было передать 18 различных сигналов? Решение Дано:Решение M=3 N=M I N=1818=3 I, I=3 Найти: I.Ответ: 3 лампочки.

2. Сколько существует различных последовательностей из символов «плюс» и «минус», длиной ровно в пять символов? Ответ N=2 5 =32 (последовательности)

3. Какое минимальное количество бит потребуется для кодирования положительных чисел, меньших 60? Ответ I=6 бит

4. Некоторый алфавит содержит 4 различных символа. Сколько трехбуквенных слов можно составить из символов этого алфавита, если символы в слове могут повторяться? Решение Дано:Решение M=4 N=M I I=3N=4 3 =64 Найти N.Ответ: 64 слова.

5. Для кодирования 300 различных сообщений используются 5 последовательных цветовых вспышек. Вспышки одинаковой длительности, для каждой вспышки используется одна лампочка определенного цвета. Лампочки скольких цветов должны использоваться при передаче (укажите минимально возможное количество)? Решение Дано:Решение N=300 N=M I I=5300=М 5 Найти М.М=4. Ответ: 4 цвета.

Идея измерения количества информации в сообщении через длину двоичного кода этого сообщения принадлежит выдающемуся российскому математику Андрею Николаевичу Колмогорову. Согласно Колмогорову, количество информации, содержащееся в тексте, определяется минимально возможной длиной двоичного кода, необходимого для представления этого текста.

Поскольку мощность N алфавита может не являться целой степенью двойки, информационный вес символа алфавита мощности N определяется следующим образом. Находится ближайшее к N значение в таблице, не меньшее чем N. Соответствующее значение I будет равно информационному весу символа.

6. В некоторой стране автомобильный номер длиной 6 символов составляется из заглавных букв (всего используется 12 букв) и десятичных цифр в любом порядке. Каждый символ кодируется одинаковым и минимально возможным количеством бит, а каждый номер – одинаковым и минимально возможным целым количеством байт. Определите объем памяти, необходимый для хранения 32 автомобильных номеров. 1) 192 байта 2) 128 байт 3) 120 байт 4) 32 байта Решение Дано:Решение N=22N=2 I, 22=2 I, I=5 бит. К 1 =6V 1 =K 1 ·I, V 1 =6·5=30 (бит) = 4 байта. К 2 =32V= K 2 ·V 1 =32·4=128 (байт). Найти V.Ответ: 128 байт.

7. Для регистрации на сайте некоторой страны пользователю необходимо придумать пароль длиной ровно 11 символов. В пароле можно использовать десятичные цифры и 12 различных символов местного алфавита, причем все буквы используются в двух начертаниях – строчные и прописные. Каждый символ кодируется одинаковым и минимально возможным количеством бит, а каждый пароль – одинаковым и минимально возможным целым количеством байт. Определите объем памяти, необходимый для хранения 60 паролей. 1) 720 байт 2) 660 байт 3) 540 байт 4) 600 байт Решение Дано:Решение N=35N=2 I, 35=2 I, I=6 бит. K 1 =11V 1 =K 1 ·I, V 1 =11·6=66 (бит) = 9 байт. K 2 =60V= K 2 ·V 1 =60·9=540 (байт). Найти V.Ответ: 540 байт.

Д/з. §3, 9, 10 стр. 25.