3.1.1. ИЗМЕРЕНИЕ ИНФОРМАЦИИ Какое количество информации содержится, к примеру, в тексте романа «Война и мир», в фресках Рафаэля или в генетическом коде.

Презентация:



Advertisements
Похожие презентации
Формулы Хартли и Шеннона Вероятностный подход к измерению количества информации.
Advertisements

Часто приходится слышать, что то или иное сообщение несет мало информации или, наоборот, содержит исчерпывающую информацию. При этом разные люди, получившие.
Количество информации. Алфавитный и вероятностный подход к измерению информации.
Количество информации. Единицы измерения количества информации 7 класс.
Презентация к уроку (информатика и икт, 8 класс) на тему: Определение количества информации
Существуют два основных подхода к определению понятия «измерение информации.» Содержательный подход. (определение К. Шеннона, применяемое в матем. теории.
Кодирование информации Цель Рассмотреть процессы кодирования и декодирования информации.
Количество информации количество информации определяется как мера убыли неопределённости знаний, т. е. неопределённость (неполнота знаний) с получением.
Информатика 8 класс Измерение информации. Подходы к измерению информации Содержательный подход. Сообщение – информационный поток, который в процессе передачи.
Тексте фресках Какое количество информации содержится в тексте «Война и мир», во фресках Рафаэля или генетическомкоде в генетическом коде человека? Ответы.
Измерение информации: содержательный и алфавитный подходы. Единицы измерения информации.
Проверочная работа 1. Какие знаковые системы вы знаете? 2. Приведите примеры (3) формальных языков. 3. Какие знаки называются иконическими? Приведите пример.
Вопрос «Как измерить информацию?» очень непростой. Ответ зависит от того, что понимать под информацией. Но поскольку определять информацию можно по-разному,
Количество информации Количество информации как мера уменьшения неопределенности знания
Есть ли связь между объемным подходом к измерению информации и содержанием информации? Объем информации не связан с ее содержанием. Говоря об объеме информации,
Количество информации 1. Количество информации как мера уменьшения неопределённости знания Если некоторое сообщение приводит к уменьшению неопределённости.
Знаковая система представления информации Измерение объёма текстовой информации.
С позиции содержательного подхода к измерению информации решается вопрос о количестве информации в сообщении, получаемом человеком. Рассматривается следующая.
Количество информации Вероятностный и алфавитный подходы.
Тема урока: Алфавитный подход к определению количества информации. Единицы измерения информации. 8 класс.
Транксрипт:

ИЗМЕРЕНИЕ ИНФОРМАЦИИ Какое количество информации содержится, к примеру, в тексте романа «Война и мир», в фресках Рафаэля или в генетическом коде человека? Возможно ли объективно измерить количество информации? Какое количество информации содержится, к примеру, в тексте романа «Война и мир», в фресках Рафаэля или в генетическом коде человека? Возможно ли объективно измерить количество информации? В настоящее время получили распространение подходы к определению понятия «количество информации», основанные на том, что информацию, содержащуюся в сообщении, можно нестрого трактовать в смысле ее новизны или, иначе, уменьшения неопределенности наших знаний об объекте. В настоящее время получили распространение подходы к определению понятия «количество информации», основанные на том, что информацию, содержащуюся в сообщении, можно нестрого трактовать в смысле ее новизны или, иначе, уменьшения неопределенности наших знаний об объекте. В научном плане понятие «информация» связывается с вероятностью осуществления того или иного события. В научном плане понятие «информация» связывается с вероятностью осуществления того или иного события. Вероятность – числовая характеристика степени возможности наступления события. Вероятность достоверного события (обязательно должно произойти) равна 1, невозможного события (не произойдет никогда) – 0. Вероятность случайного события лежит в интервале (0,1). Например, вероятность выпадения «орла» при подбрасывании монеты равна 1/2, а вероятность выпадения каждой из граней при игре в кости – 1/6. Вероятность – числовая характеристика степени возможности наступления события. Вероятность достоверного события (обязательно должно произойти) равна 1, невозможного события (не произойдет никогда) – 0. Вероятность случайного события лежит в интервале (0,1). Например, вероятность выпадения «орла» при подбрасывании монеты равна 1/2, а вероятность выпадения каждой из граней при игре в кости – 1/6.

Случайным называется событие, которое может произойти, а может и не произойти. Примерами случайных событий могут служить выпадение «орла» при подбрасывании монеты или число очков (т.е. выпадение определенной грани) при игре в кости. Случайным называется событие, которое может произойти, а может и не произойти. Примерами случайных событий могут служить выпадение «орла» при подбрасывании монеты или число очков (т.е. выпадение определенной грани) при игре в кости. Американский инженер Р. Хартли (1928) процесс получения информации рассматривал как выбор одного сообщения из конечного заранее заданного множества из N равновероятных сообщений, а количество информации I, содержащееся в выбранном сообщении, определяет как двоичный логарифм N. Американский инженер Р. Хартли (1928) процесс получения информации рассматривал как выбор одного сообщения из конечного заранее заданного множества из N равновероятных сообщений, а количество информации I, содержащееся в выбранном сообщении, определяет как двоичный логарифм N. Формула Хартли: I = log2N. Формула Хартли: I = log2N. Допустим, нужно угадать одно число из набора чисел от единицы до ста. По формуле Хартли можно вычислить, какое количество информации для этого требуется: Допустим, нужно угадать одно число из набора чисел от единицы до ста. По формуле Хартли можно вычислить, какое количество информации для этого требуется: I = log ,644. То есть сообщение о верно угаданном числе содержит количество информации, приблизительно равное 6,644. I = log ,644. То есть сообщение о верно угаданном числе содержит количество информации, приблизительно равное 6,644.

Определим теперь, являются ли равновероятными сообщения «первой выйдет из дверей здания женщина» и «первым выйдет из дверей здания мужчина». Определим теперь, являются ли равновероятными сообщения «первой выйдет из дверей здания женщина» и «первым выйдет из дверей здания мужчина». Однозначно ответить на этот вопрос нельзя. Все зависит от того, о каком именно здании идет речь. Если это, например, станция метро, то вероятность выйти из дверей первым одинакова для мужчины и женщины, а если это военная казарма, то для мужчины эта вероятность значительно выше, чем для женщины. Однозначно ответить на этот вопрос нельзя. Все зависит от того, о каком именно здании идет речь. Если это, например, станция метро, то вероятность выйти из дверей первым одинакова для мужчины и женщины, а если это военная казарма, то для мужчины эта вероятность значительно выше, чем для женщины. Для задач такого рода американский ученый Клод Шеннон предложил в 1948 г. другую формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе. Для задач такого рода американский ученый Клод Шеннон предложил в 1948 г. другую формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе.

Формула Шеннона: I = - (p1 log2 p1 + p2 log2 p pN log2 pN), Формула Шеннона: I = - (p1 log2 p1 + p2 log2 p pN log2 pN), где pi – вероятность того, что именно i-е сообщение выделено в наборе из N сообщений. где pi – вероятность того, что именно i-е сообщение выделено в наборе из N сообщений. Если вероятности p1,..., pN равны, то каждая из них равна 1/N, и формула Шеннона превращается в формулу Хартли. Если вероятности p1,..., pN равны, то каждая из них равна 1/N, и формула Шеннона превращается в формулу Хартли. Анализ формулы показывает, что чем выше вероятность события, тем меньшее количество информации возникает после его осуществления, и наоборот. Анализ формулы показывает, что чем выше вероятность события, тем меньшее количество информации возникает после его осуществления, и наоборот. Если вероятность равна 1 (т.е. событие достоверно), количество информации равно 0. Если вероятность свершения или несвершения какого-либо события одинакова, т.е. равна 1/2, то количество информации, которое несет с собой это событие, равно 1. Если вероятность равна 1 (т.е. событие достоверно), количество информации равно 0. Если вероятность свершения или несвершения какого-либо события одинакова, т.е. равна 1/2, то количество информации, которое несет с собой это событие, равно 1.

Это – единица измерения информации. Она получила наименование бит. Это – единица измерения информации. Она получила наименование бит. Если событие имеет m равновероятных исходов, как при подбрасывании монеты или при игре в кости, то вероятность конкретного исхода равна 1/m, и формула Шеннона приобретает вид: I = log2 m. Если событие имеет m равновероятных исходов, как при подбрасывании монеты или при игре в кости, то вероятность конкретного исхода равна 1/m, и формула Шеннона приобретает вид: I = log2 m. В этом случае I = 1 бит при m = 2. Для информации об исходе такого события достаточно двух символов (например, 0 и 1). Система счисления, в которой используется только два символа, называется двоичной. В этом случае I = 1 бит при m = 2. Для информации об исходе такого события достаточно двух символов (например, 0 и 1). Система счисления, в которой используется только два символа, называется двоичной. Поэтому бит можно также определить как количество информации, которое содержит один разряд двоичного числа (отсюда название «бит»: binary digit – двоичный разряд). Бит в теории информации – количество информации, необходимое для различения двух равновероятных сообщений. Поэтому бит можно также определить как количество информации, которое содержит один разряд двоичного числа (отсюда название «бит»: binary digit – двоичный разряд). Бит в теории информации – количество информации, необходимое для различения двух равновероятных сообщений. Количество информации, равное 8 битам, называется байтом. В восьми разрядах можно записать 256 различных целых двоичных чисел от до Количество информации, равное 8 битам, называется байтом. В восьми разрядах можно записать 256 различных целых двоичных чисел от до

Широко используются также еще более крупные производные единицы информации: Широко используются также еще более крупные производные единицы информации: 1 Килобайт (Кбайт) = 1024 байт = 210 байт; 1 Килобайт (Кбайт) = 1024 байт = 210 байт; 1 Мегабайт (Мбайт) = 1024 Кбайт = 220 байт; 1 Мегабайт (Мбайт) = 1024 Кбайт = 220 байт; 1 Гигабайт (Гбайт) = 1024 Мбайт = 230 байт. 1 Гигабайт (Гбайт) = 1024 Мбайт = 230 байт. В последнее время в связи с увеличением объемов обрабатываемой информации входят в употребление такие производные единицы, как: В последнее время в связи с увеличением объемов обрабатываемой информации входят в употребление такие производные единицы, как: 1 Терабайт (Тбайт) = 1024 Гбайт = 240 байт; 1 Терабайт (Тбайт) = 1024 Гбайт = 240 байт; 1 Петабайт (Пбайт) = 1024 Тбайт = 250 байт. 1 Петабайт (Пбайт) = 1024 Тбайт = 250 байт. За единицу информации можно было бы выбрать количество информации, необходимое для различения, например, десяти равновероятных сообщений. Это будет не двоичная (бит), а десятичная (дит) единица информации. За единицу информации можно было бы выбрать количество информации, необходимое для различения, например, десяти равновероятных сообщений. Это будет не двоичная (бит), а десятичная (дит) единица информации.