Количество информации Информация – снятая неопределенность Клод Шеннон

Синтаксическая обезличенная информация, не выражающая смыслового отношения к объекту. Синтаксическая обезличенная информация, не выражающая смыслового отношения к объекту. Семантическая информация воспринимаемая пользователем и включаемая им в дальнейшем в свой тезаурус. Семантическая информация воспринимаемая пользователем и включаемая им в дальнейшем в свой тезаурус. Прагматическая информация полезная (ценная) для достижения пользователем поставленной цели. Прагматическая информация полезная (ценная) для достижения пользователем поставленной цели.

Мера информации Синтаксическая (обезличенная) Vд – объем данных I – количество информации Семантическая (смысловая) Прагматическая (потребительская)

Синтаксическая мера информации оперирует с обезличенной информацией (данными), не выражающей смыслового отношения к объекту

Объем данных Vд Объем данных в сообщении измеряется количеством символов (разрядов) в этом сообщении (длина информационного кода). Объем данных в сообщении измеряется количеством символов (разрядов) в этом сообщении (длина информационного кода). конкурс выиграл B Vд =17 символов конкурс выиграл B Vд =17 символов B стал победителем Vд =18 символов B стал победителем Vд =18 символов A проиграл Vд = 10 символов A проиграл Vд = 10 символов

Количество информации I Количество информации о системе, полученное в сообщении, измеряется уменьшением неопределенности о состоянии системы. Количество информации о системе, полученное в сообщении, измеряется уменьшением неопределенности о состоянии системы. Меру неопределенности в теории информации называют энтропия. Меру неопределенности в теории информации называют энтропия. Неопределенность не отделима от понятия вероятности. Неопределенность не отделима от понятия вероятности.

Одинаково ли количество информации в ответах на вопросы: 1. В каком из 4-х возможных состояний (твердое, жидкое, газообразное, плазма) находится некоторое вещество? 2. На каком из 4-х курсов учится студент техникума? 3. Как упадет монета при подбрасывании: орлом или решкой? Если считать эти состояния равновероятными, то P(i)=1/4. Тогда ответ и на вопросы 1 и 2 снимает равную неопределенность => содержит равное кол-во информации P(i)=1/2. Вероятность каждого состояния больше, а снимаемая ответом неопределенность меньше => содержит меньшее кол-во информации

Чем меньше вероятность события, тем больше информации несет сообщение о его появлении. Чем меньше вероятность события, тем больше информации несет сообщение о его появлении. Если вероятность события равна 1 (достоверное событие), количество информации в сообщении о его появлении равно 0. Если вероятность события равна 1 (достоверное событие), количество информации в сообщении о его появлении равно 0.

«Конкурс выиграет один из участников: A или B» - это априорная информация о системе, утверждающая, что система может находиться в одном из 2 х состояний. После получения любого сообщения из: конкурс выиграл B Vд =17 символов конкурс выиграл B Vд =17 символов B стал победителем Vд =18 символов B стал победителем Vд =18 символов A проиграл Vд = 10 символов A проиграл Vд = 10 символов неопределенность снизилась до 1 варианта из 2-х изначально возможных. Чему равно количество информации, которое несет это сообщение? Для синтаксической оценки количества информации не важно в каком именно состоянии находится система, важно только возможное количество состояний системы и их априорные вероятности.

Формула Шеннона где I – количество информации (бит); N – число возможных состояний системы; p(i) – априорная вероятность каждого состояния системы.

Расчет количества информации по Шеннону Вариант 1p(А)p(B)суммаI, бит p(i)0,20,81 log2(p(i))-2,32-0,32 p(i)* log2(p(i))-0,46-0,25-0,720,72 Вариант 2p(А)p(B)суммаI, бит p(i)0,5 1 log2(p(i)) p(i)* log2(p(i))-0,5 1

Расчет количества информации по Хартли Частный случай формулы Шеннона для равновероятных событий где I – количество информации, бит N – число возможных состояний системы

Бит Количество информации, которое можно получить при ответе на вопрос типа да/нет (включено/выключено, true/false, 0/1), если эти состояния равновероятны, называетсябит (англ. bit – binary digit – двоичное число).

Бит Лампочка горит? (да/нет) – 1 бит информации (при равных вероятностях). 1 бит 0 1 I=1 I – количество информации, бит N - число возможных состояний системы N=2

Рассмотрим систему из 2-х электрических лампочек А B В системе из 2-х лампочек 2 бита информации. I=2N=4 Лампочка А горит? (да/нет) Лампочка B горит? (да/нет)

Рассмотрим систему из 2-х электрических лампочек A B B 1-ый бит A 0-ой бит

Система из 3-х лампочек 0,1,1 0,0,1 0,1,0 1,0,1 1,0,0 0,1,1 0,0,0 1,1,1 A B C C 2-ой бит B 1-ый бит A 0-ой бит N=? N=8 I=3

Степени 2 I= N= Формула Хартли

? ? Определите количество информации в сообщении:Сейчас горит красный сигнал светофора, если считать, что светофор всегда работает и вероятности появления красного, зеленого и желтого сигналов равны. ? Ответ получится больше или меньше, чем 1 бит?

Байт Группа из 8 бит называется байтом (byte – binary term – двоичный элемент) 7-ой 6-ой 5-ый 4-ый 3-ий 2-ой 1-ый 0-ой ой 6-ой 5-ый 4-ый 3-ий 2-ой 1-ый 0-ой Байт – основная единица измерения информации, занесенная в систему СИ

Байт На основании 1 байта, исходя из формулы Хартли, можно получить 256 различных комбинаций ой 6-ой 5-ый 4-ый 3-ий 2-ой 1-ый 0-ой ой 6-ой 5-ый 4-ый 3-ий 2-ой 1-ый 0-ой 0min 255 max

1 символ = 1 байт Количество байтов для представления текста (в принятых на сегодняшний день кодировках) равно числу знаков естественного языка этого текста.

Kb, Mb, Gb, Tb 1 Kb (кило) = 2 10 b = b 1 Kb (кило) = 2 10 b = b 1 Mb (мега) = 2 10 Kb = 2 20 b = b 1 Mb (мега) = 2 10 Kb = 2 20 b = b 1 Gb (гига) = 2 10 Mb = 2 30 b = b 1 Gb (гига) = 2 10 Mb = 2 30 b = b 1 Tb (тера) = 2 10 Gb = 2 40 b = b 1 Tb (тера) = 2 10 Gb = 2 40 b = b

Размер текстового файла (Vд) 640 Kb. Файл содержит книгу, которая набрана в среднем по 32 строки на странице и по 64 символа в строке. Сколько страниц в книге: 160, 320, 540, 640, 1280 ? Задача I= N= Символов на 1 стр. = 32*64 = 2 5 *2 6 = Всего = 640Kb = 10*64*2 10 b = 10*2 6 *2 10 b = 10*2 16 b 4. Кол-во стр. = 10*2 16 b / 2 11 b = 10*2 5 = страница страница страница страница страница 1 символ = 1b 2. Памяти на 1 стр. = 2 11 b

Информация и энтропия Формула Шеннона выглядит также, как используемая в физике формула энтропии, выведенная Больцманом, но со знаком -. Формула Шеннона выглядит также, как используемая в физике формула энтропии, выведенная Больцманом, но со знаком -. Энтропия обозначает степень неупорядоченности движения молекул. По мере увеличения упорядоченности энтропия стремится к нулю. Энтропия обозначает степень неупорядоченности движения молекул. По мере увеличения упорядоченности энтропия стремится к нулю.

Информация есть отрицательная энтропия Т.к. энтропия является мерой неупорядоченности, то информация может быть определена как мера упорядоченности материальных систем. Т.к. энтропия является мерой неупорядоченности, то информация может быть определена как мера упорядоченности материальных систем.

? ? Увеличится или уменьшится количество информации в системе «Сосуд с водой» после замораживания воды? ? Как изменится энтропия этой системы? ? Как изменится энтропия этой системы?

Информация есть снятая неразличимость Р. Эшби осуществил переход от толкования информации как «снятой неопределенности» к «снятой неразличимости». Он считал, что информация есть там, где имеется разнообразие, неоднородность. Р. Эшби осуществил переход от толкования информации как «снятой неопределенности» к «снятой неразличимости». Он считал, что информация есть там, где имеется разнообразие, неоднородность.

Информация, энтропия и возможность выбора Любая информация, уменьшающая неопределенность (энтропию), уменьшает и возможность выбора (количество вариантов). неопределенность (энтропия) информация возможность выбора

Коэффициент информативности (информационная плотность, лаконичность) Коэффициент информативности сообщения определяется отношением количества информации к объему данных (длине кода): Коэффициент информативности сообщения определяется отношением количества информации к объему данных (длине кода): 0

о к ь, ъ, б е, ё0.072 м ч а, и д й т, н п х с у ж, ю, ш р я ц, щ, э в ы, з ф С увеличением Y уменьшаются объемы работы по преобразованию информации (данных) в системе. Поэтому стремятся к повышению информативности, для чего разрабатываются специальные методы оптимального кодирования информации. Частотная таблица русского языка

Интересные факты Язык обладает 20% избыточностью. Это означает, что любое сообщение можно без потери информации сократить на 1/5, но при этом резко уменьшается помехоустойчивость информации. Язык обладает 20% избыточностью. Это означает, что любое сообщение можно без потери информации сократить на 1/5, но при этом резко уменьшается помехоустойчивость информации. Информативность стихов в 1,5 раза больше, чем прозы, т.е. сообщение в 150 строк может быть передано 100 стихотворными строчками. Информативность стихов в 1,5 раза больше, чем прозы, т.е. сообщение в 150 строк может быть передано 100 стихотворными строчками. Информативность стихов Пушкина очень близка к пределу информационной способности русского языка вообще. Информативность стихов Пушкина очень близка к пределу информационной способности русского языка вообще.

Интересные факты Общая сумма информации, собранной во всех библиотеках мира, оценивается как Общая сумма информации, собранной во всех библиотеках мира, оценивается как Самая высокая известная нам плотность информации в молекулах ДНК Самая высокая известная нам плотность информации в молекулах ДНК Если бы вся эта информация была записана в молекуле ДНК, для нее хватило бы одного процента объема булавочной головки. Как носитель информации, молекула ДНК эффективней современных кварцевых мегачипов в 45 миллионов миллионов раз. Если бы вся эта информация была записана в молекуле ДНК, для нее хватило бы одного процента объема булавочной головки. Как носитель информации, молекула ДНК эффективней современных кварцевых мегачипов в 45 миллионов миллионов раз.