Измерение информации. Содержательный подход

Содержательный подход к измерению информации отталкивается от определения информации как содержания сообщения, получаемого человеком. Сущность содержательного подхода заключается в следующем: сообщение, информирующее об исходе какого-то события, снимает неопределенность знания человека об этом событии. Чем больше первоначальная неопределенность знания, тем больше информации несет сообщение, снимающее эту неопределенность.

Приведем примеры, иллюстрирующие данное утверждение. Ситуация 1. В ваш класс назначен новый учитель информатики; на вопрос «Это мужчина или женщина?» вам ответили: «Мужчина». Ситуация 2. На чемпионате страны по футболу играли команды «Динамо» и «Зенит». Из спортивных новостей по радио вы узнаете, что игра закончилась победой «Зенита». Ситуация 3. На выборах мэра города было представлено четыре кандидата. После подведения итогов голосования вы узнали, что избран Н. Н. Никитин. Вопрос: в какой из трех ситуаций полученное сообщение несет больше информации?

Неопределенность знания это количество возможных вариантов ответа на интересовавший вас вопрос. Еще можно сказать: возможных исходов события. В первой ситуации 2 варианта ответа: мужчина, женщина; во второй ситуации 3 варианта: выиграл «Зенит», ничья, выиграло «Динамо»; в третьей ситуации 4 варианта: 4 кандидата на пост мэра. Согласно данному выше определению, наибольшее количество информации несет сообщение в третьей ситуации, поскольку неопределенность знания об исходе события в этом случае была наибольшей.

В 40-х годах XX века проблема измерения информации была решена американским ученым Клодом Шенноном основателем теории информации. Согласно Шеннону, информация это снятая неопределенность знания человека об исходе какого-то события.

В теории информации единица измерения информации определяется следующим образом. Сообщение, уменьшающее неопределенность знания об исходе некоторого события в два раза, несет 1 бит информации. Обозначим буквой N количество возможных исходов события, или, как мы это еще называли, неопределенность знания. Буквой I будем обозначать количество информации в сообщении об одном из N результатов. N=2 I

Задача 1. В кинозале 16 рядов, в каждом ряду 32 места. Какое количество информации несет сообщение о том, что вам купили билет на 12-й ряд, 10-е место? Решение 1 способ Дано:Решение N=1632N=2 I Найти I16·32= =2 9 I=9 бит 2 способ Дано:Решение N 1 =16I 1 =4 бит N 2 =32I 2 =5 бит Найти II=I 1 +I 2 =9 бит.

Данный пример иллюстрирует выполнение закона аддитивности количества информации (правило сложения): количество информации в сообщении одновременно о нескольких результатах независимых друг от друга событий равно сумме количеств информации о каждом событии отдельно.

Существует множество ситуаций, когда возможные события имеют различные вероятности реализации. Например, если монета несимметрична (одна сторона тяжелее другой), то при ее бросании вероятности выпадения «орла» и «решки» будут различаться.

Пример 1. В коробке имеется 50 шаров. Из них 40 белых и 10 черных. Обозначим р ч – вероятность попадания при вытаскивании черного шара, р б - вероятность попадания белого шара. Тогда: Отсюда видно, что вероятность попадания белого шара в 4 раза больше, чем черного.

Пример 2. Представим себе, что мы изучили успеваемость Сережи за несколько лет учебы. За это время он получил по математике 100 оценок. Из них: 60 пятерок, 30 четверок, 8 троек и 2 двойки. Допуская, что такое распределение оценок может сохраниться и в дальнейшем, вычислим вероятность получения каждой из оценок.

Пример 3. В пруду живут 8000 карасей, 2000 щук и пескарей. Из предыдущих примеров можно догадаться, что вероятность попадания на удочку каждого из видов рыб равна его доле в общем количестве. Отсюда:

Из рассмотренных примеров можно сделать вывод: если N – это общее число возможных исходов какого-то процесса, и из них интересующее нас событие может произойти К раз, то вероятность этого события равна :

Вероятность выражается в долях единицы. В частном случае, вероятность достоверного события равна 1; вероятность невозможного события равна 0. Качественную связь между вероятностью события и количеством информации в сообщении об этом событии можно выразить так: чем меньше вероятность некоторого события, тем больше информации содержит сообщение об этом событии.

Количественная зависимость между вероятностью события (р) и количеством информации в сообщении I выражается формулой:

Задача 2. В корзине лежат 32 клубка шерсти. Среди них – 4 красных. Сколько информации несет сообщение о том, что достали клубок красной шерсти? Решение Дано:Решение N=32 K=4 Найти: I.p=4/32=1/8 8=2 I, I=3 бит

Задача 3. В коробке лежат 64 цветных карандаша. Сообщение о том, что достали белый карандаш, несет 4 бита информации. Сколько белых карандашей было в корзине? Д/з. §4. Решение Дано:Решение N= 64 I=4 бит Найти K 1/p=2 4, p=1/16 1/16=K/64, K=64/16=4 Ответ: 4 карандаша.