Формулы Хартли и Шеннона Вероятностный подход к измерению количества информации.

Презентация:



Advertisements
Похожие презентации
ИЗМЕРЕНИЕ ИНФОРМАЦИИ Какое количество информации содержится, к примеру, в тексте романа «Война и мир», в фресках Рафаэля или в генетическом коде.
Advertisements

Измерение информации: вероятностный подход Урок
Для определения количества информации i, содержащейся в сообщении о том, что произошло одно из N равновероятных событий, нужно решить показательное уравнение:
Приготовила: учитель информатики МОУ «Гимназия г. Вольска Саратовской области» Кириченко Наталья Евгеньевна Для учащихся 10 класса.
Информация и информационные процессы. знания Информация и знания незнание.
Количество информации. Алфавитный и вероятностный подходы к измерению информации.
Часто приходится слышать, что то или иное сообщение несет мало информации или, наоборот, содержит исчерпывающую информацию. При этом разные люди, получившие.
Тема: Вероятностный подход к определению количества информации. Формула Шеннона. Цель: 1.Научиться определять количество информации через вероятность?
Содержательный подход к измерению информации. Формула Шеннона.
Измерение информации Содержательный подход.. Пусть в некотором сообщении содержатся сведения о том, что произошло одно из N равновероятных событий (ни.
Измерение информации. Измерение информации Содержательный подход Алфавитный подход.
Вероятностный подход к определению количества информации. Формула Шеннона 10 класс.
Подходы к определению количества информации СОДЕРЖАТЕЛЬНЫЙ АЛФАВИТНЫЙ Количество символов в сообщении * вес одного символа Смысл сообщения.
Есть ли связь между объемным подходом к измерению информации и содержанием информации? Объем информации не связан с ее содержанием. Говоря об объеме информации,
Количество информации. Алфавитный и вероятностный подход к измерению информации.
Проверка д/з Переведи в байты. 15 Кбайт, 256 Кбайт, 72 Кбайт, 340 Кбайт. Переведи в килобайты байт, 7680 байт, 2 Мбайт, 5 Гбайт, 2560 байт. Сравните.
Количество информации количество информации определяется как мера убыли неопределённости знаний, т. е. неопределённость (неполнота знаний) с получением.
ИЗМЕРЕНИЕ ИНФОРМАЦИИ Вероятностный подход Алфавитный подход ИНФОРМАЦИЯ по отношению к человеку – это ЗНАНИЯ по отношению к техническим устройствам – это.
Количество информации как мера уменьшения неопределенности знания Практическая работ 0.1 Измерение информации.
Измерение информации. Содержательный подход. Содержательный подход к измерению информации отталкивается от определения информации как содержания сообщения,
Транксрипт:

Формулы Хартли и Шеннона Вероятностный подход к измерению количества информации

1928 год американский инженер Хартли процесс получения информации рассматривает как выбор одного сообщения из конечного заданного множества N равновероятных событий

Формула Хартли: I=log 2 N где I -количество информации, N -число равновероятных событий.

Задача: Какое количество информации требуется, чтобы угадать одно число из 128? Решение: I=log 2 128=7 бит

Задача: Какое количество информации требуется, чтобы угадать одно число из 100? Решение: I=log ,644 бит

Вывод: с увеличением числа вероятных событий (N), увеличивается количество информации (I), полученной при совершении одного из событий.

Формула Хартли может быть записана и так: N=2 I Если N=2 (выбор из двух возможностей), то I=1 бит.

Так как наступление каждого из N событий имеет одинаковую вероятность P, то Р=1/N. Если событий 6, то вероятность появления одного события равно 1/6, если событий 100, то вероятность равна 0,01 => N=1/P

Формулу Хартли можно записать иначе: I=log 2 (1/P)= log 2 P -1 = - log 2 P так как p 0

Примеры равновероятных сообщений: 1) при бросании монеты выпала «решка», выпал «орел» 2) на странице книги количество букв четное, нечетное.

Задача: Определить, является ли равновероятным событие – из дверей выйдет первым мужчина или женщина?

1948 год американский ученый Клод Шеннон предложил другую формулу определения количества информации, учитывая возможную неодинаковую вероятность событий в наборе.

Формула Шеннона: I=-(p 1 log 2 p 1 + p 2 log 2 p 2 + p 3 log 2 p 3 +…. p N log 2 p N ), где p I вероятность того, что именно I –е сообщение выделено в наборе из N сообщений.

Другая запись формулы Шеннона: I=- I -количество информации, N -количество возможных событий, Р I – вероятности отдельных событий.

Задача. Пусть имеется строка текста, содержащая 1000 букв. Буквы встречаются в тексте: «о»-90 раз «р» -40 раз «Ф»- 2 раза «а»-200 раз. Какое количество информации несет буква в строке?

Решение: I=-(0,09*log 2 0,09 + 0,04* log 2 0,04 + 0,002* log 2 0, ,2* log 2 0,2)=