Измерение объёма информации.

Алфавитный подход Вероятностный подход Содержательный подход

Алфавитный подход Алфавитный подход удобен при подсчете количества информации, хранимого, передаваемого и обрабатываемого техническими устройствами.

Алфавит – это набор букв, знаков, цифр, скобок и т.д. Количество символов в алфавите называется его мощностью.

Например, мощность алфавита из русских букв и дополнительных символов: 33 буквы + 10 цифр + 11 знаков препинания + скобки + пробел = 54 При алфавитном подходе считается, что каждый символ текста имеет определенный информационный вес. Информационный вес символа зависит от мощности алфавита.

Сообщение любой длины, использующее односимвольный алфавит, содержит нулевую информацию. Доказательство: Предположим, что используемый алфавит состоит из одного символа, например, буквы «А». Интуитивно понятно, что сообщить что-либо с помощью единственного символа невозможно.

Двоичный алфавит состоит из 2-х символов: 0 и 1. Информационный вес символа двоичного алфавита называется 1 бит. Следовательно, 1 бит – это 0 или 1. Назовем комбинацию из 2-х, 3-х и т.д. бит двоичным кодом.

Вероятностный подход Вероятность p – количественная априорная (т.е. известная до проведения опыта) характеристика одного из исходов (событий) некоторого опыта. Измеряется в пределах от 0 до 1. Если заранее известны все исходы опыта, сумма их вероятностей равна 1, а сами исходы составляют полную группу событий. Если все исходы могут свершиться с одинаковой долей вероятности, они называются равновероятными.

Например, пусть опыт состоит в сдаче студентом экзамена по информатике. Очевидно, у этого опыта всего 4 исхода (по количеству возможных оценок, которые студент может получить на экзамене).

Тогда эти исходы составляют полную группу событий, т.е. сумма их вероятностей равна 1. Если студент учился хорошо в течение семестра, значения вероятностей всех исходов могут быть такими: p(5) = 0.5; p(4) = 0.3; p(3) = 0.1; p(2) = 0.1, где запись p(j) означает вероятность исхода, когда получена оценка j (j = {2, 3, 4, 5}).

Если студент учился плохо, можно заранее оценить возможные исходы сдачи экзамена, т.е. задать вероятности исходов, например, следующим образом: p(5) = 0.1; p(4) = 0.2; p(3) = 0.4; p(2) = 0.3.

Содержательный подход Неопределенность знаний о некотором событии – это количество возможных результатов события. Что такое «неопределенность знаний»? Рассмотрим примеры:

Пример 1: Вы бросаете монету, загадывая, что выпадет: орел или решка? Решение: Есть два варианта возможного результата бросания монеты. Ни один из этих вариантов не имеет преимущества перед другим (равновероятны). Перед подбрасыванием монеты неопределенность знаний о результате равна двум. После совершения действия неопределенность уменьшилась в 2 раза. Получили 1 бит информации. Ответ: Результат подбрасывания монеты принес 1 бит информации.

Обозначим: N – количество возможных событий (неопределенность знаний) i - количество информации в сообщении о том, что произошло одно из N событий.

Теперь вы знаете как измерить количество информации, поэтому можете пройти тест!!!