Количество информации Вероятностный и алфавитный подходы

Вероятностный подход Информация для человека - ??? Сообщение несет информацию, если ??? На данный момент можем различать две ситуации

Единица измерения информации Сообщение, уменьшающее неопределенность знаний в два раза, несет 1 бит информации

Рассмотрим понятие неопределенности на примерах Подбрасывание монеты Количество исходов :

Рассмотрим понятие неопределенности на примерах Подбрасывание игрального кубика Количество исходов :

Неопределенность знаний о некотором событии – это количество возможных результатов события

Рассмотрим понятие неопределенности на примерах Подбрасывание монеты Количество исходов : Неопределенность:

Рассмотрим понятие неопределенности на примерах Подбрасывание игрального кубика Количество исходов : Неопределенность:

Подсказка Сообщение, уменьшающее неопределенность знаний в 2 раза, несет 1 бит информации

Примеры определения количества информации Подбрасывание монеты неопределенность: количество информации:

Примеры определения количества информации Сдача экзамена. Можно получить «2», «3», «4», «5» неопределенность: количество информации:

Примеры определения количества информации Сообщение «Книга лежит на одной из 8 полок» неопределенность: количество информации:

Попробуем определить закономерность: N = 2; I = 1 N = 4; I =2 N = 8; I = 3 Получается формула N - неопределенность; I – количество информации N = 2 I

Алфавитный подход Данный подход не связан с содержанием сообщения и зависит от мощности алфавита. Мощность алфавита – полное число символов алфавита.

По мощности алфавита можно найти количество информации, которое несет один символ из алфавита. 2 i = N N – мощность алфавита i – количество информации, которое несет один символ (вес одного символа ) В русском алфавите (N=54) каждый символ несет 5,75 бит информации.

Удобнее всего измерять информацию, если мощность алфавита является степенью числа 2. Если N = 16; i = 4 N = 32; i =5 N = 256; i = 8 Количество информации в сообщении найдем по формуле I = k · i k – количество символов в сообщении i – вес одного символа

Пример Пусть в книге, записанной 256 символьным алфавитом, страница содержит 50 строк по 60 символов. Найди информационный объем страницы. 2 8 = 256, => i = 8 бит (каждый символ весит 8 бит) I = 50 · 60 · 8 = бит Можно перевести в другие единицы: бит = 3000 байт = 1,93 Кб

Связь единиц измерения информации 1 байт = 8 бит 1 килобайт = 2 10 байт = 1024 байт 1 мегабайт = 2 10 килобайт = 1024 килобайт 1 гигабайт = 2 10 мегабайт = 1024 мегабайт