Количество информации. Алфавитный и вероятностный подходы к измерению информации.

мера уменьшения неопределённости знаний при получении информационных сообщений; Минимальная единица измерения информации бит. Количество информации Количество информации

Содержательный (вероятностный) подход. условно выделим область знания (например, в виде окружности); за пределами окружности –информационная неопределенность; в процессе обучения происходит переход от незнания к знанию, т. е. неопределенность уменьшается; такой подход к информации как мере уменьшения неопределенности знания позволяет ее количественно оценить (измерить).

сообщение, уменьшающее неопределенность знания в 2 раза, несет 1 бит информации. например, при подбрасывании монеты может выпасть либо «орел», либо «решка». Это два возможных события. Они равновероятны. Сообщение о том, что произошло одно из двух равновероятных событий (например, выпала «решка»), уменьшает неопределенность нашего знания (перед броском монеты) в 2 раза. Содержательный (вероятностный) подход.

Формула Хартли. N = 2 i N – количество вариантов исхода, i – количество информации, которое несёт сообщение. Вывод: Чтобы пользоваться рассмотренным подходом, необходимо вникать в содержание сообщения. Это не позволяет использовать данный подход для кодирования и передачи информации с помощью технических устройств.

Алфавитный подход к измерению информации Подход основан на подсчете числа символов в сообщении. Этот подход не связывает количество информации с содержанием сообщения, позволяет реализовать передачу, хранение и обработку информации с помощью технических устройств, не теряя при этом содержания (смысла) сообщения.

Алфавит любого языка включает в себя конечный набор символов. Исходя из вероятностного подхода к определению количества информации, появление символов алфавита в тексте можно рассматривать как различные возможные события. Количество таких событий (символов) N называют мощностью алфавита. Алфавитный подход к измерению информации

Количество информации Согласно вероятностному подходу: N = 2 i N – мощность алфавита, i – количество информации, которое несёт каждый символ алфавита. Согласно алфавитному подходу: I = i · k I – количество информации в сообщении при алфавитном подходе, k – количество символов в сообщении.