Количество информации как мера уменьшения неопределённости знания 19.09.14. - презентация

1 Количество информации как мера уменьшения неопределённости знания

2 Количество информации За единицу количества информации принимается такое количество информации, которое содержится в информационном сообщении, уменьшающем неопределенность знания в два раза. Такая единица названа бит.

3 Единицы измерения информации Бит – минимальная единица измерения количества информации. 1 байт = 8 бит 1 кбайт = 2 10 =1024 байт 1 Мбайт = 2 10 =1024 кбайт 1 Гбайт = 2 10 =1024 Мбайт 1 Тбайт = 2 10 =1024 Гбайт Байт – единица количества информации, являющаяся наименьшей единицей памяти компьютера и равная 8 битам.

4 Количество информации Существует несколько подходов к измерению информации. Выделим два из них: 1. Алфавитный (технический) подход 2. Вероятностный подход

5 Алфавитный (технический) подход В технике информацией считается любая последовательность символов или знаков. Для определения количества такой информации подсчитывают длину такой последовательности (сообщения) без учета ее содержательной части.

6 Алфавитный (технический) подход Информационным объемом сообщения называется количество двоичных символов, которое используется для кодирования этого сообщения.

7 Алфавитный (технический) подход Пусть М – количество символов (мощность) алфавита, в котором записано сообщение, N – количество символов в записи сообщения. Тогда информационный объем сообщения: I=N*log 2 M

8 Алфавитный (технический) подход Пример: Определите информационный объем слова «разряд», если считать, что алфавит состоит из 10 букв. Решение: Длина сообщения = 6 Мощность алфавита равна = 10 По формуле находим I=6*log 2 10 I=6*log 2 16=6*4=24 бита.

9 Алфавитный (технический) подход Пример 2: Какое количество информации необходимо для кодирования каждого символа из 256 символов некоторого алфавита. I=N*log 2 M

10 Кодирование информации Кодирование – процесс представления информации из одной формы в другую, с помощью условных знаков. Код – формальные правила преобразования символов одного исходного алфавита в символы второго конечного алфавита.

11 Вероятностный подход Количество информации можно рассматривать как меру уменьшения неопределенности знания при получении информационных сообщений. Если события равновероятны, то количество информации определяется по формуле: или N=2 i N – количество информационных сообщений. i – количество информации, которое несет полученное сообщение

12 Вероятностный подход Пример 1: В корзине лежат 8 мячей разного цвета (красный, синий, желтый, зеленый, оранжевый, фиолетовый, белый, коричневый). Какое количество информации несёт в себе сообщение о том, что из корзины будет вынут мяч красного цвета?

13 Вероятностный подход Пусть N – общее число возможных исходов какого- то процесса, и из них интересующее нас событие может пройти k раз. Тогда вероятность этого события равна K/N. Количество информации для событий с различными вероятностями определяется по формуле: i=- i – количество информации, N – количество возможных событий; p i – вероятности отдельных событий.

14 Вероятностный подход Пример 2: В корзине лежат 16 мячей разного цвета: 4 красных, 8 синих, 4 желтых. Какое количество информации несёт в себе сообщение о том, что из корзины извлечён один мяч?

15 Количество информации, содержащейся в алфавитном сообщении Чтобы определить количество информации содержащейся в сообщении, записанном в некотором алфавите, следует количество информации, которое несёт в себе один символ этого алфавита, умножить на число символов в сообщении. N=2 i

16 Количество информации, содержащейся в алфавитном сообщении Пример 3: Известно, что объем сообщения составляет 3 Кб. Определите мощность алфавита, с помощью которого записано это сообщение, если известно, что оно содержит 3072 символа. N=2 i (1) Решение: Объём сообщения равен 3 Кб=3*1024*8 бит=34576 бит. Тогда 1 символ равен 24576/3072=3. Находим кол-во символов по формуле 1: N=2 3 =8

17 Домашнее задание: 1. Сколько бит информации несёт сообщение о том, что из колоды, содержащей 32 карты, достали даму треф? 2. Какое количество информации несёт сообщение о том, что при бросании двух игральных кубиков в сумме выпало 3? 1. Log log log log 2 9