Человек Знания Информация Техническое устройство Подходы к измерению информации Содержательный (вероятностный) Алфавитный Последовательность символов, сигналов Через неопределенность знаний с учетом вероятности событий Через количество символов с учетом информационного веса символов

Сообщение несет информацию для человека, если заключенные в нем сведения являются для него новыми и понятными Сообщение, уменьшающее неопределенность знаний в 2 раза, несет 1 бит информации

Игра, использующая метод двоичного поиска Игра: Требуется угадать задуманное число из данного диапазона целых чисел. Игрок, отгадывающий число, задает вопросы, на которые можно ответить только «да» или «нет». Если каждый ответ отсекает половину вариантов (уменьшает выбор в 2 раза), то он несет 1 бит информации. Тогда общее количество информации (в битах), полученной при угадывании числа, равна количеству заданных вопросов. Пример: требуется угадать задуманное число из диапазона от 1 до 8 1. Число меньше 5? Нет1бит 2. Число меньше 7? Да 1бит 3. Это число 5? Нет 1бит 8 возможных вариантов - 3 вопроса - 3 бита информации

2 i =N N -количество равновероятностных событий i -количество информации в сообщении о том, что произошло одно из N равновероятностных событий Задача 1. При угадывании целого числа в диапазоне от 1 до N было получено 6 бит информации. Чему равно N? 2 i =N. Решение: значение N определяется из формулы 2 i =N. После подстановки i =6, получаем N = 2 6 = 64. Задача 2. В корзине лежат 16 шаров разного цвета. Сколько информации несет сообщение о том, что из корзины достали красный шар? 2 i =N, получаем ответ: i = 4 бита. Решение: вытаскивание любого из 16 шаров - события равновероятностные. Поэтому для решения задачи применима формула 2 i =N, получаем ответ: i = 4 бита.

2 i =N

Подсчет информации в сообщениях о неравновероятностных событиях Условие задачи: За прошедший год ученик получил 100 оценок: 60 пятерок, 25 четверок, 10 троек и 5 двоек. Определить количество информации в сообщениях о получении каждой из оценок. Расчет вероятности оценок вероятность пятерки: 60/100 == 0,6 ; вероятность четверки: 25/100 = 0,25 ; вероятность тройки: 10/100 = 0,1 ; вероятность двойки: 5/100 = 0,05. Иногда удобно бывает вероятность выражать в процентах. Значение вероятности будем обозначать буквой Р, тогда вычисленные нами величины запишем так: Р 5 =0,6(60%); Р 4 =0,25(25%); Рз=0,1(10%); Р 2 =0,05(5%) 2 i =1/P I =log 2 (1/P) I 5 = log 2 (l/0,6) = log 2 (5/3) = 0,737 бит, I 4 = log 2 (l/0,25) = log 2 (4) = 2 бита, I 3 = log 2 (l/0,l) == log 2 (10) = 3,322 бита, I 2 = log 2 (l/0,05) = log 2 (20) = 4,322 бита. Количество информации в сообщении о некотором событии зависит от вероятности этого события. Чем меньше вероятность, тем больше информации.

Количество символов в алфавите (его размер) называется мощностью алфавита (N) 2 i =N Если считать, что все символы в тексте появляются с одинаковой частотойi Количество информации в одном символе I = K* i Количество информации в символьном сообщении (K - число символов) Если N = 256 = 2 8, то «информационный вес» одного символа i = 8 бит = 1 байт

Один символ компьютерного алфавита - 8 бит = 1 байт 1 КБАЙТ = 1024 БАЙТ 1 МБАЙТ = 1024 КБАЙТ 1 ГБАЙТ = 1024 МБАЙТ 1 ТБАЙТ = 1024 ГБАЙТ Скорость передачи информации (информационного потока) - это количество информации, передаваемое за единицу времени (бит/с, байт/с, …)