Количество информации как мера уменьшения неопределенности знаний

УМЕНЬШЕНИЕ НЕОПРЕДЕЛЁННОСТИ ЗНАНИЯ Возможные события Произошедшее событие События равновероятны, если при возрастающем числе опытов количества выпадений «орла» и «решки» постепенно сближаются. Пусть у нас имеется монета, которую мы бросаем на ровную поверхность. С равной вероятностью произойдет одно из двух возможных событий – монета окажется в одном из двух положений: «орёл» или «решка». Перед броском существует неопределённость нашего знания (возможны два события), а после броска наступает полная определённость. Неопределённость нашего знания уменьшается в два раза, так как из двух возможных равновероятностных событий реализовалось одно.

УМЕНЬШЕНИЕ НЕОПРЕДЕЛЁННОСТИ ЗНАНИЯ При бросании равносторонней четырехгранной пирамиды существуют 4 равновероятных события. При бросании шестигранного игрального кубика существует 6 равновероятных событий.

ЕДИНИЦЫ ИЗМЕРЕНИЯ КОЛИЧЕСТВА ИНФОРМАЦИИ Возможные события Произошедшее событие Сообщение, уменьшающее неопределённость знания в два раза, несёт 1 бит информации. 1 байт = 2 3 битов = 8 битов Бит – минимальная единица измерения информации. 1 Кбайт = 2 10 байт = 1024 байт 1 Мбайт = 2 10 Кбайт = 1024 Кбайт 1 Гбайт = 2 10 Мбайт = 1024 Мбайт

КОЛИЧЕСТВО ВОЗМОЖНЫХ СОБЫТИЙ И КОЛИЧЕСТВО ИНФОРМАЦИИ Количество i информации, содержащееся в сообщении о том, что произошло одно из N равновероятностных событий, определяется из решения показательного уравнения 2 i = N Если известно количество информации i, то количество возможных событий N легко определить. Например, если i = 5, то N = 2 i = 32. Если известно количество возможных событий N, то для определения количества информации нужно решить показательное уравнение относительно i.

КОЛИЧЕСТВО ВОЗМОЖНЫХ СОБЫТИЙ И КОЛИЧЕСТВО ИНФОРМАЦИИ Задача. В рулетке общее количество лунок равно 128. Какое количество информации мы получим в зрительном сообщении об остановке шарика в одной из лунок. N = 128 i - ? Дано: Решение: 2 i = N 2 i = = 128 i = 7 бит Ответ: i = 7 бит

КОМПЬЮТЕРНЫЙ ПРАКТИКУМ С помощью программы VersaVerter можно выполнить перевод единиц измерения количества информации. Перевод единиц измерения количества информации

ПРАКТИКУМ Выполнить перевод единиц измерения количества информации. Перевод единиц измерения количества информации а) 5 Кбайт = _ байт = _ бит; б) _ Кбайт = _ байт = бит; в) _ Кбайт = _ байт = 2 13 бит; г) _ Гбайт = 1536 Мбайт = _ Кбайт; д) 512 Кбайт = 2_ байт = 2_ бит.

ПРАКТИКУМ Самоконтроль Перевод единиц измерения количества информации а) 5 Кбайт = байт = бит; б) 1,5 Кбайт = байт = бит; в) 1 Кбайт = 1024 байт = 2 13 бит; г) 1,5 Гбайт = 1536 Мбайт = Кбайт; д) 512 Кбайт = 2 19 байт = 2 22 бит.