Измерение информации: вероятностный подход Урок

Система основных понятий Измерение информации – содержательный подход Измеряется количество информации в сообщении о результате некоторого события Равновероятные результаты: никакой результат не имеет преимущества перед другими Неопределенность знания – число возможных результатов (вариантов сообщения) - N Количество информации в сообщении об одном результате события – i битов Главная формула информатики: 2 i = N Частный случай: два равновероятных результата события N=2i=1 бит 1 бит – количество информации в сообщении об одном из двух равновероятных результатов некоторого события

Вопросы для повторения: 1.Что такое неопределенность знания о результате какого-либо события? Приведите примеры, когда неопределенность знания можно выразить количественно. 2.Как определяется единица измерения количества информации? 3.В каких случаях и по какой формуле можно вычислить количество информации, содержащейся в сообщении, используя содержательный подход?

Измерение информации

Вероятностный подход к измерению информации в 1928 году американский инженер Ричард Хартли подметил закономерность и предложил меру для измерения количества информации: в 1928 году американский инженер Ричард Хартли подметил закономерность и предложил меру для измерения количества информации: где N - количество равновероятных событий; I - количество бит в сообщении о том, что любое из N событий произошло. Не все ситуации имеют одинаковые вероятности реализации. Существует много таких ситуаций, у которых вероятности реализации различаются. Например, если бросают несимметричный предмет Не все ситуации имеют одинаковые вероятности реализации. Существует много таких ситуаций, у которых вероятности реализации различаются. Например, если бросают несимметричный предмет Еще один бытовой пример – «правило бутерброда» Еще один бытовой пример – «правило бутерброда»

Вероятностный подход к измерению информации В 1948 г. американский инженер и математик К. Шеннон предложил формулу для вычисления количества информации для событий с различными вероятностями. р – вероятность события, p = K/N, где K – количество благоприятных исходов p = K/N, где K – количество благоприятных исходов N – общее число исходов Формулу Хартли теперь можно рассматривать как частный случай формулы Шеннона. При равновероятных событиях получаемое количество информации максимально.

Пример 1: В корзине лежит 8 черных шаров и 24 белых. Сколько информации несет сообщение о том, что достали черный шар? В корзине лежит 8 черных шаров и 24 белых. Сколько информации несет сообщение о том, что достали черный шар?

Пример 1: Для случая равновероятных событий (если все шары разного цвета): Для случая равновероятных событий (если все шары разного цвета):

Формула Шеннона I - количество информации N - количество возможных событий р i - вероятности отдельных событий

Пример 2: В озере обитает окуней, пескарей, а карасей и щук по Сколько информации мы получим, когда поймаем какую-нибудь рыбу? В озере обитает окуней, пескарей, а карасей и щук по Сколько информации мы получим, когда поймаем какую-нибудь рыбу?

Пример 3: Пусть имеется текст, содержащий 1000 букв. Буквы встречаются в тексте: о – 90 раз р – 40 раз ф – 2 раза а – 200 раз Какое количество информации несет буква в строке? Пусть имеется текст, содержащий 1000 букв. Буквы встречаются в тексте: о – 90 раз р – 40 раз ф – 2 раза а – 200 раз Какое количество информации несет буква в строке?

Пример 3: