Количество информации как мера уменьшения неопределенности знания

Количество информации можно рассматривать как меру уменьшения неопределенности знания при получении информационных сообщений.

УМЕНЬШЕНИЕ НЕОПРЕДЕЛЁННОСТИ ЗНАНИЯ Возможные события Произошедшее событие События равновероятны, если при возрастающем числе опытов количества выпадений «орла» и «решки» постепенно сближаются. Пусть у нас имеется монета, которую мы бросаем на ровную поверхность. С равной вероятностью произойдет одно из двух возможных событий – монета окажется в одном из двух положений: «орёл» или «решка». Перед броском существует неопределённость нашего знания (возможны два события), а после броска наступает полная определённость. Неопределённость нашего знания уменьшается в два раза, так как из двух возможных равновероятностных событий реализовалось одно.

УМЕНЬШЕНИЕ НЕОПРЕДЕЛЁННОСТИ ЗНАНИЯ При бросании равносторонней четырехгранной пирамиды существуют 4 равновероятных события. При бросании шестигранного игрального кубика существует 6 равновероятных событий.

ЕДИНИЦЫ ИЗМЕРЕНИЯ КОЛИЧЕСТВА ИНФОРМАЦИИ Возможные события Произошедшее событие Сообщение, уменьшающее неопределённость знания в два раза, несёт 1 бит информации. 2 события = 2 1, следовательно в одном событии 1 бит. Бит – минимальная единица измерения информации. 1 Кбайт = 2 10 байт = 1024 байт 1 Мбайт = 2 10 Кбайт = 1024 Кбайт 1 Гбайт = 2 10 Мбайт = 1024 Мбайт 1 Тбайт = 1024 Гбайт = 2 40 байт 1 Пбайт (Петабайт) = 1024 Тбайт = 2 50 байт. 1 байт = 2 3 битов = 8 битов

КОЛИЧЕСТВО ВОЗМОЖНЫХ СОБЫТИЙ И КОЛИЧЕСТВО ИНФОРМАЦИИ Количество i информации, содержащееся в сообщении о том, что произошло одно из N равновероятностных событий, определяется из решения показательного уравнения 2 i = N Если известно количество информации i, то количество возможных событий N легко определить. Например, если i = 5, то N = 2 i = 32. Если известно количество возможных событий N, то для определения количества информации нужно решить показательное уравнение относительно i.

КОЛИЧЕСТВО ВОЗМОЖНЫХ СОБЫТИЙ И КОЛИЧЕСТВО ИНФОРМАЦИИ Задача. В рулетке общее количество лунок равно 128. Какое количество информации мы получим в зрительном сообщении об остановке шарика в одной из лунок. N = 128 i - ? Дано: Решение: 2 i = N 2 i = = 128 i = 7 бит Ответ: i = 7 бит

Задачи : 1. В коробке лежало 32 разноцветных карандаша. Сколько информации несет сообщение о том, что из коробки достали синий карандаш ? 2. Информационный объем одного символа некоторого сообщения равен 6 битам. Сколько символов входит в алфавит, с помощью которого было составлено это сообщение ?

КОМПЬЮТЕРНЫЙ ПРАКТИКУМ Задание 2.1. (стр. 109) С помощью программы VersaVerter выполнить перевод единиц измерения количества информации. Перевод единиц измерения количества информации

КОМПЬЮТЕРНЫЙ ПРАКТИКУМ Задание 2.2. (стр. 110) С помощью программы VersaVerter выполнить перевод единиц измерения количества информации. Перевод единиц измерения количества информации а) 5 Кбайт = _ байт = _ бит; б) _ Кбайт = _ байт = бит; в) _ Кбайт = _ байт = 2 13 бит; г) _ Гбайт = 1536 Мбайт = _ Кбайт; д) 512 Кбайт = 2 - байт = 2 - бит.

КОМПЬЮТЕРНЫЙ ПРАКТИКУМ Задание 2.2. (стр. 110) Самоконтроль Перевод единиц измерения количества информации а) 5 Кбайт = байт = бит; б) 1,5 Кбайт = байт = бит; в) 1 Кбайт = 1024 байт = 2 13 бит; г) 1,5 Гбайт = 1536 Мбайт = Кбайт; д) 512 Кбайт = 2 19 байт = 2 22 бит.