Вероятностный подход к определению количества информации. Автор: Короткова Светлана Ивановна - учитель информатики МБОУ "Шаховская СОШ 1"

Введение понятия «количество информации» Существуют два подхода к измерению информации. Один из них называется содержательный или вероятностный. Из названия подхода можно сделать вывод, что количество информации зависит от ее содержания. Автор: Короткова Светлана Ивановна - учитель информатики МБОУ "Шаховская СОШ 1"

Определите количество информации в следующих сообщениях с позиции «много» или «мало». Столица России Москва. Сумма квадратов катетов равна квадрату гипотенузы. Дифракцией света называется совокупность явлений, которые обусловлены волновой природой света и наблюдаются при его распространении в среде с резко выраженной оптической неоднородностью. Эйфелева башня имеет высоту 300 метров и вес 9000 тонн. Автор: Короткова Светлана Ивановна - учитель информатики МБОУ "Шаховская СОШ 1"

Сообщение несет больше информации, если в нем содержатся новые и понятные сведения. Такое сообщение называется информативным. Необходимо различать понятия информация и информативность.

Содержит ли информацию учебник физики за 10 класс? Для кого он будет информативным для ученика 10 класса или 1 класса? ДА! (Для ученика 10 класса он будет информативным, так как в нем содержится новая и понятная ему информация, а для ученика 1 класса она не будет информативной, так как информация для него непонятна.) Автор: Короткова Светлана Ивановна - учитель информатики МБОУ "Шаховская СОШ 1"

Вывод: количество информации зависит от информативности. Количество информации в некотором сообщении равно нулю, если оно с точки зрения конкретного человека неинформативно. Количество информации в информативном сообщении больше нуля. Но информативность сообщения сама по себе не дает точного определения количества информации. По информативности можно судить только о том, много информации или мало. Автор: Короткова Светлана Ивановна - учитель информатики МБОУ "Шаховская СОШ 1"

Введение понятия вероятностного подхода в измерении информации Рассмотрим понятие информативности с другой стороны. Если некоторое сообщение является информативным, следовательно, оно пополняет нас знаниями или уменьшает неопределенность наших знаний. Другими словами сообщение содержит информацию, если оно приводит к уменьшению неопределенности наших знаний. Автор: Короткова Светлана Ивановна - учитель информатики МБОУ "Шаховская СОШ 1"

Рассмотрим пример. Мы бросаем монету и пытаемся угадать, какой стороной она упадет на поверхность. Возможен один результат из двух: монета окажется в положении «орел» или «решка». Каждое из этих двух событий окажется равновероятным, т.е. ни одно из них не имеет преимущества перед другим. Автор: Короткова Светлана Ивановна - учитель информатики МБОУ "Шаховская СОШ 1"

Перед броском монеты мы точно не знает, как она упадет. Это событие предсказать невозможно, т.е. перед броском существует неопределенность нашего знания (возможно одно событие из двух). После броска наступает полная определенность знания, т.к. мы получаем зрительное сообщение о положении монеты. Это зрительное сообщение уменьшает неопределенность нашего знания в два раза, т.к. из двух равновероятных событий произошло одно. Автор: Короткова Светлана Ивановна - учитель информатики МБОУ "Шаховская СОШ 1"

Если мы кидаем шестигранный кубик, то мы также не знаем перед броском, какой стороной он упадет на поверхность. В этом случае, возможно получить один результат из шести равновероятных. Неопределенность знаний равна шести, т.к. именно шесть равновероятных событий может произойти. Когда после броска кубика мы получаем зрительное сообщение о результате, то неопределенность наших знаний уменьшается в шесть раз. Автор: Короткова Светлана Ивановна - учитель информатики МБОУ "Шаховская СОШ 1"

Еще один пример. На экзамен приготовлено 30 билетов. Чему равно количество событий, которые могут произойти при вытягивании билета? Равновероятны эти события или нет? Чему равна неопределенность знаний ученика перед тем как он вытянет билет? Во сколько раз уменьшится неопределенность знания после того как ученик билет вытянул? Зависит ли этот показатель от номера вытянутого билета? Автор: Короткова Светлана Ивановна - учитель информатики МБОУ "Шаховская СОШ 1"

Из всех рассмотренных примеров можно сделать следующий вывод: Чем больше начальное число возможных равновероятных событий, тем в большее количество раз уменьшается неопределенность наших знаний, и тем большее количество информации будет содержать сообщение о результатах опыта. Автор: Короткова Светлана Ивановна - учитель информатики МБОУ "Шаховская СОШ 1"

А каким может быть самое маленькое количество информации? Вернемся к примеру с монетой. Предположим, что у монеты обе стороны «орел». Существует ли неопределенность знаний пред броском в этом случае? Почему? Получите вы новую информацию после броска? Будет ли информативным сообщение о результате броска? Чему равно количество информации в этом случае? Автор: Короткова Светлана Ивановна - учитель информатики МБОУ "Шаховская СОШ 1"

Вывод: мы не получаем информации в ситуации, когда происходит одно событие из одного возможного. Количество информации в этом случае равно нулю. Для того чтобы количество информации имело положительное значение, необходимо получить сообщение о том, что произошло событие как минимум из двух равновероятных.

Такое количество информации, которое находится в сообщении о том, что произошло одно событие из двух равновероятных, принято за единицу измерения информации и равно 1биту.

С помощью битов информация кодируется. С точки зрения кодирования с помощью 1 бита можно закодировать два сообщения, события или два варианта некоторой информации. С точки зрения вероятности 1 бит это такое количество информации, которое позволяет выбрать одно событие из двух равновероятных. Согласитесь, что эти два определения не противоречат друг другу, а совершено одинаковы, но просто рассмотрены с разных точек зрения. Автор: Короткова Светлана Ивановна - учитель информатики МБОУ "Шаховская СОШ 1"

1 бит - это количество информации, уменьшающее неопределенность знаний в два раза. Автор: Короткова Светлана Ивановна - учитель информатики МБОУ "Шаховская СОШ 1"

Игра «Угадай число». загадайте число из интервала от 1 до 16; необходимо на каждом шаге в два раза уменьшать неопределенность знания, т.е. задавать вопросы, делящие числовой интервал на два: тогда ответ «Да» или «Нет» будет содержать 1 бит информации; подсчитав общее количество битов (ответов на вопросы), найдем полное количество информации, необходимое для отгадывания числа. Автор: Короткова Светлана Ивановна - учитель информатики МБОУ "Шаховская СОШ 1"

Например, загадано число 5 из интервала от 1 до 16. ВопросОтветНеопределенность знаний Полученное количество информации Число больше 8? Нет81 бит Число больше 4? Да41бит Число больше 6? Нет21бит Число 5?Да11бит Итого:4 бита Вывод: количество информации, необходимое для определения одного из чисел, равно 4 бита. Автор: Короткова Светлана Ивановна - учитель информатики МБОУ "Шаховская СОШ 1"

Существует формула, которая связывает между собой количество возможных событий и количество информации. N = 2 i ; где N количество возможных вариантов, i количество информации. Если из этой формулы выразить количество информации, то получится I = log2N. Автор: Короткова Светлана Ивановна - учитель информатики МБОУ "Шаховская СОШ 1"

Как пользоваться этими формулами для вычислений: если количество возможных вариантов N является целой степенью числа 2, то производить вычисления по формуле N = 2 i достаточно легко. Вернемся к примеру: N = 32; I = 5, т.к. 32 = 2 5 ; если же количество возможных вариантов информации не является целой степенью числа 2, т.е. если количество информации число вещественное, то необходимо воспользоваться калькулятором или следующей таблицей. Автор: Короткова Светлана Ивановна - учитель информатики МБОУ "Шаховская СОШ 1"

Количество информации в сообщении об одном из N равновероятных событий: I = log2N NINININI 10, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , # , , , , , , , , , , , , , , , , , , , , , , , ,00000 Автор: Короткова Светлана Ивановна - учитель информатики МБОУ "Шаховская СОШ 1"

Неравновероятные события На самом деле рассмотренная нами формула является частным случаем, так как применяется только к равновероятным событиям. В жизни же мы сталкиваемся не только с равновероятными событиями, но и событиями, которые имеют разную вероятность реализации. Автор: Короткова Светлана Ивановна - учитель информатики МБОУ "Шаховская СОШ 1"

Например: 1. Когда сообщают прогноз погоды, то сведения о том, что будет дождь, более вероятно летом, а сообщение о снеге - зимой. 2. Если вы лучший ученик в классе, то вероятность сообщения о том, что за контрольную работу вы получили 5, больше, чем вероятность получения двойки. 3. Если на озере живет 500 уток и 100 гусей, то вероятность подстрелить на охоте утку больше, чем вероятность подстрелить гуся. 4. Если в мешке лежат 10 белых шаров и 3 черных, то вероятность достать черный шар меньше, чем вероятность вытаскивания белого. 5. Если одна из сторон кубика будет более тяжелой, то вероятность выпадения этой стороны будет меньше, чем других сторон. Автор: Короткова Светлана Ивановна - учитель информатики МБОУ "Шаховская СОШ 1"

Как вычислить количество информации в сообщении о таком событии? Для этого необходимо использовать следующую формулу. I = log 2 (l/p), где I это количество информации, р вероятность события. Вероятность события выражается в долях единицы и вычисляется по формуле: р = К / N где К величина, показывающая, сколько раз произошло интересующее нас событие, N общее число возможных исходов какого-то процесса. Автор: Короткова Светлана Ивановна - учитель информатики МБОУ "Шаховская СОШ 1"

Желаю успехов в решении задач!!!