Часто приходится слышать, что то или иное сообщение несет мало информации или, наоборот, содержит исчерпывающую информацию. При этом разные люди, получившие одно и то же сообщение (например, прочитав статью в газете), по-разному оценивают количество информации, содержащейся в нем. Это происходит оттого, что знания людей об этих событиях (явлениях) до получения сообщения были различными. Поэтому те, кто знал об этом мало, сочтут, что получили много информации, те же, кто знал больше, чем написано в статье, скажут, что информации не получили вовсе. Количество информации в сообщении, таким образом, зависит от того, насколько ново это сообщение для получателя.

Однако иногда возникает ситуация, когда людям сообщают много новых для них сведений (например, на лекции), а информации при этом они практически не получают (в этом нетрудно убедиться во время опроса или контрольной работы). Происходит это от того, что сама тема в данный момент слушателям не представляется интересной. Итак, количество информации зависит от новизны сведений об интересном для получателя информации явлении. Иными словами, неопределенность (т. е. неполнота знания) по интересующему нас вопросу с получением информации уменьшается.

. Количественно измерить информацию позволит подход к информации как к мере уменьшения неопределенности знания. Если в результате получения сообщения будет достигнута полная ясность в данном вопросе (т. е. неопределенность исчезнет), говорят, что была получена исчерпывающая информация. Это означает, что необходимости в получении дополнительной информации на эту тему нет. Напротив, если после получения сообщения неопределенность осталась прежней (сообщаемые сведения или уже были известны, или не относятся к делу), значит, информации получено не было (нулевая информация).

В окружающем мире существует множество явлений, которые каждый раз происходят по-иному, приводят к неожиданному результату. Эти явления называются случайными. Случайный эксперимент или опыт, есть процесс, при котором возможны различные исходы, так что заранее нельзя предсказать каков будет результат. Опыт характеризуется тем, что его в принципе можно повторить сколько угодно раз. Особое значение имеет множество возможных, взаимно исключающих друг друга исходов опыта (элементарных событий).

Если опыт подразделяется только на конечное число элементарных событий, которые являются к тому же равновероятными, то говорят, что речь идет о классическом случае. Примерами таких опытов являются бросания монеты, бросание игральной кости. Для опытов такого типа еще Лаплас разработал теорию вероятности. число всех возможных элементарных событий. Р(А) = число элементарных событий благоприятных для А Вероятность события А

Пусть имеется шестигранный кубик, который будем бросать на ровную поверхность. С равной вероятностью произойдет одно из шести возможных событий - кубик окажется в одном из шести положений: выпадет одна из шести граней. Можно говорить о равновероятных событиях, если при возрастающем количестве экспериментов число выпадений каждой из граней постепенно будут сближаться.

Другие примеры равновероятных сообщений : при бросании монеты: "выпала решка", "выпал орел"; на странице книги: "количество букв чётное", "количество букв нечётное".

Перед самим броском возможны шесть событий, т. е. существует неопределенность нашего знания, мы не можем предсказать сколько очков выпадет. После того, как событие произошло, наступает полная определенность, так как мы получаем зрительное сообщение, что кубик в данный момент находится в определенном состоянии. Неопределенность нашего знания уменьшилась, одно из шести равновероятных событий произошло. Начальная неопределенность нашего знания зависит от начального числа возможных равновероятных событий

Пример 1. Конфеты находятся в одной из 10 коробок. Определить информационную неопределенность. Ответ: Шарик находится в одной из трех корзин А, В или С. Определить информационную неопределенность. Ответ: 3.

На примере игры "Угадай число" можно рассмотреть уменьшение неопределенности. Один из участников загадывает целое число (например, 30) из заданного интервала (например, от 1 до 32). Цель второго - "угадать" число первого участника. Для второго игрока начальная неопределенность знания составляет 32 возможных события. Чтобы найти число, необходимо получить определенное количество информации. Первый участник может отвечать только "да" и "нет". Второй должен выбрать следующую стратегию: последовательно, на каждом шаге уменьшать неопределенность знания в два раза. Для этого он должен делить числовой интервал пополам, задавая свои вопросы.

Протокол игры. Вопрос второго Ответ первого Кол-во возможных событий (неопределенность знаний) 32 Число больше 16?Да16 Число больше 24?Да8 Число больше 28?Да4 Число больше 30?Нет2 Число 30?Да1 Для того чтобы угадать число из интервала от 1 до 32 потребовалось 5 вопросов.

За единицу количества информации принято такое количество информации, которое содержит сообщение уменьшающее неопределенность знания в два раза. Такая единица названа бит (от bi nary digi t - двоичная цифра). Бит в теории информации количество информации, необходимое для различения двух равновероятных сообщений (типа "орел""решка", "чет""нечет" и т.п.). В вычислительной технике битом называют наименьшую "порцию" памяти компьютера, необходимую для хранения одного из двух знаков "0" и "1", используемых для внутримашинного представления данных и команд.

Протокол игры. Вопрос второго Ответ первого Кол-во возможных событий (неопределенность знаний) Полученное количество Информации 32 Число больше 16?Да161 бит Число больше 24?Да81 бит Число больше 28?Да41 бит Число больше 30?Нет21 бит Число 30?Да11 бит Для того чтобы угадать число из интервала от 1 до 32 потребовалось 5 вопросов. Количество информации, необходимое для определения одного из 32 чисел, составило 5 бит.

Количество возможных событий - N и количество информации - I связаны между собой формулой: N = 2 I Данная формула позволяет определять: количество информации, если известно количество событий; количество возможных событий, если известно количество информации;

Американский инженер Р. Хартли в 1928 г. процесс получения информации рассматривал как выбор одного сообщения из конечного наперёд заданного множества из N равновероятных сообщений, а количество информации i, содержащееся в выбранном сообщении, определял как двоичный логарифм N. Формула Хартли: i = log 2 N

Иногда формулу Хартли записывают так: I = log 2 N= log 2 (1 / р) = - log 2 р, т. к. каждое из N событий имеет равновероятный исход р = 1 /N, то N = 1 / р.

Допустим, нужно угадать одно число из набора чисел от единицы до ста. По формуле Хартли можно вычислить, какое количество информации для этого требуется: i = log = 6,644. Таким образом, сообщение о верно угаданном числе содержит количество информации, приблизительно равное 6,644 единицы информации.

Определим теперь, являются ли равновероятными сообщения "первой выйдет из дверей здания женщина" и "первым выйдет из дверей здания мужчина". Однозначно ответить на этот вопрос нельзя. Все зависит от того, о каком именно здании идет речь. Если это, например, станция метро, то вероятность выйти из дверей первым одинакова для мужчины и женщины, а если это военная казарма, то для мужчины эта вероятность значительно выше, чем для женщины. Для задач такого рода американский учёный Клод Шеннон предложил в 1948 г. другую формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе.

Примеры 1. Тетрадь лежит на одной из двух полок - верхней или нижней. Сколько бит несет в себе сообщение, что она лежит на нижней полке? Ответ: 2. Сколько вопросов следует задать и как их нужно сформулировать, чтобы узнать с какого из 16 путей отправляется ваш поезд? Ответ: 3. Шарик находится в одной из 32 урн. Сколько единиц информации будет содержать сообщение о том, где он находится? Ответ: 4. Шарик находится в одной из трех корзин А, В или С. Определить информационную неопределенность. Ответ:

I = (p 1 log 2 p 1 + p 2 log 2 p p N log 2 p N ), где pi вероятность того, что именно i-е сообщение выделено в наборе из N сообщений. Легко заметить, что если вероятности p1,..., pN равны, то каждая из них равна 1 / N, и формула Шеннона превращается в формулу Хартли.

Бит слишком мелкая единица измерения. На практике чаще применяется более крупная единица байт, равная восьми битам. Широко используются также ещё более крупные производные единицы информации: 1 Килобайт (Кбайт) = 1024 байт = 2 10 байт, 1 Мегабайт (Мбайт) = 1024 Кбайт = 2 20 байт, 1 Гигабайт (Гбайт) = 1024 Мбайт = 2 30 байт. В последнее время в связи с увеличением объёмов обрабатываемой информации входят в употребление такие производные единицы, как: 1 Терабайт (Тбайт) = 1024 Гбайт = 2 40 байт, 1 Петабайт (Пбайт) = 1024 Тбайт = 2 50 байт.

Допустим, нужно угадать одно число из набора чисел от единицы до ста. По формуле Хартли можно вычислить, какое количество информации для этого требуется: I = log = 6,644. Таким образом, сообщение о верно угаданном числе содержит количество информации, приблизительно равное 6,644 единицы информации.

Но не все ситуации имеют одинаковые вероятности реализации. Существует много таких ситуаций, у которых вероятности реализации различаются. Определим, например, являются ли равновероятными сообщения "первой выйдет из дверей здания женщина" и "первым выйдет из дверей здания мужчина". Однозначно ответить на этот вопрос нельзя. Все зависит от того, о каком именно здании идет речь. Если это, например, станция метро, то вероятность выйти из дверей первым одинакова для мужчины и женщины, а если это военная казарма, то для мужчины эта вероятность значительно выше, чем для женщины.

Для задач такого рода американский учёный Клод Шеннон предложил в 1948 г. другую формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе. Формула Шеннона: I = ( p1·log 2 p1 + p2·log 2 p pN·log 2 pN), где pi вероятность того, что именно i-е сообщение выделено в наборе из N сообщений. Легко заметить, что если вероятности p1,..., pN равны, то каждая из них равна 1 / N, и формула Шеннона превращается в формулу Хартли: I = log 2 N= log 2 (1 / р) = - log 2 р,

При определении количества информации на основе уменьшения неопределенности наших знаний мы рассматриваем информацию с точки зрения содержания, понятности и новизны для человека. При передаче и хранении информации с помощью различных технических устройств информацию целесообразнее рассматривать как последовательность знаков (цифр, букв, кодов цветов точек изображения), не рассматривая ее содержание.

Считая, что алфавит (набор символов знаковой системы) – это событие, то появление одного из символов в сообщении можно рассматривать как одно из состояний события. Если появление символов равновероятно, то можно рассчитать, сколько бит информации несет каждый символ. Информационная емкость знаков определяется их количеством в алфавите. Чем из большего количества символов состоит алфавит, тем большее количество информации несет один знак. Полное число символов алфавита принято называть мощностью алфавита.

Молекулы ДНК (дезоксирибонуклеиновой кислоты) состоят из четырех различных составляющих (нуклеотидов), которые образуют генетический алфавит. Информационная емкость знака этого алфавита составляет: 4 = 2 I, т.е. I = 2 бит. Каждая буква русского алфавита (если считать, что е=ё) несет информацию 5 бит (32 =2 I ). Количество информации, которое содержит сообщение, закодированное с помощью знаковой системы, равно количеству информации, которое несет один знак, умноженному на число знаков в сообщении

Задание: Книга содержит 100 страниц; на каждой странице строк, в каждой строке символов. Рассчитаем объем информации, содержащийся в книге. Решение: Страница содержит 35 x 50 = 1750 байт информации. Объем всей информации в книге (в разных единицах): 1750 x 100 = байт / 1024 = 170,8984 Кбайт. 170,8984 / 1024 = 0, Мбайт. Задания 1.Сколько Кб составляет сообщение, содержащее битов? 2.Письмо занимает 2 страницы по 25 строк. В каждой строке записано по 40 символов. Каков объем информации в письме?

Если информационная емкость человеческой яйцеклетки равна 233 бит, то какое количество компакт дисков (емкостью 700 Мбайт) необходимо для того, чтобы уместить генетическую информацию одного человека.

Средняя скорость чтения учащихся 9-11 классов составляет 160 слов в минуту (одно слово в среднем – 6 символов). Какое количество информации ученик успеет получить за 4 часа? Сколько байт в пяти килобайтах Если вариант текста в среднем имеет объем 20 килобайт (на каждой странице 40 строк по 64 символа в каждой, - 1 символ – 8 бит),то какое количество страниц в этом тексте. В корзине 16 разноцветных шаров, какова вероятность достать красный шар? Поезд находится на одном из 8 путей. Сколько бит информации содержит сообщение, где находится поезд? В корзине 4 белых и 12 черных шаров. Сколько бит информации содержит сообщение, что из корзины достали белый шар? Количество информации в сообщении что из коробки достали красный карандаш равно 2 бита. В коробке всего 16 карандашей. Сколько красных карандашей в коробке? На «5» - все задачи На « 4» - любые 6 На «3» - любые 5