Количество информации I Количество информации о системе, полученное в сообщении, измеряется уменьшением неопределенности о состоянии системы. Меру неопределенности. - презентация

1

2 Количество информации I Количество информации о системе, полученное в сообщении, измеряется уменьшением неопределенности о состоянии системы. Меру неопределенности в теории информации называют энтропия. Неопределенность не отделима от понятия вероятности. (c) Попова О. В., AME, Красноярск,

3 Бит Количество информации, которое можно получить при ответе на вопрос типа да / нет ( включено / выключено, true/false, 0/1), если эти состояния равновероятны, называется бит ( англ. bit – binary digit – двоичное число ). (c) Попова О. В., AME, Красноярск,

4 Бит Лампочка горит ? (да / нет) – 1 бит информации ( при равных вероятностях). 1 бит 0 1 I=1 I – количество информации, бит N - число возможных состояний системы N=2

5 Рассмотрим систему из 2- х электрических лампочек (c) Попова О. В., AME, Красноярск, А B В системе из 2-х лампочек 2 бита информации. I=2N=4 Лампочка А горит? (да/нет) Лампочка B горит? (да/нет)

6 Рассмотрим систему из 2- х электрических лампочек AB B 1-ый бит A 0-ой бит

7 Система из 3- х лампочек 0,1,1 0,0,1 0,1,0 1,0,1 1,0,0 0,1,1 0,0,0 1,1,1 A B C C 2-ой бит B 1-ый бит A 0-ой бит N=? N=8 I=3

8 Степени 2 (c) Попова О. В., AME, Красноярск, I= N= Формула Хартли

9 Обобщенная формула Хартли N=a I где I – число элементов системы, a – число возможных состояний каждого элемента, N – число возможных состояний всей системы

10 Байт Группа из 8 бит называется байтом. (c) Попова О. В., AME, Красноярск, ой 6-ой 5-ый 4-ый 3-ий 2-ой 1-ый 0-ой ой 6-ой 5-ый 4-ый 3-ий 2-ой 1-ый 0-ой Байт – основная единица измерения информации, занесенная в систему СИ

11 Байт На основании 1 байта, исходя из формулы Хартли, можно получить 256 различных комбинаций ой 6-ой 5-ый 4-ый 3-ий 2-ой 1-ый 0-ой ой 6-ой 5-ый 4-ый 3-ий 2-ой 1-ый 0-ой 0min 255 max

12 Kb, Mb, Gb, Tb 1 Kb ( кило ) = 2 10 b = b 1 Mb ( мега ) = 2 10 Kb = 2 20 b = b 1 Gb ( гига ) = 2 10 Mb = 2 30 b = b 1 Tb ( тера ) = 2 10 Gb = 2 40 b = b

13 Задача Размер текстового файла (V д ) 640 Kb. Файл содержит книгу, которая набрана в среднем по 32 строки на странице и по 64 символа в строке. Сколько страниц в книге : 160, 320, 540, 640, 1280 ? I= N= Символов на 1 стр. = 32*64 = 2 5 *2 6 = Всего = 640Kb = 10*64*2 10 b = 10*2 6 *2 10 b = 10*2 16 b 4. Кол-во стр. = 10*2 16 b / 2 11 b = 10*2 5 = страница страница страница страница страница 1 символ = 1b 2. Памяти на 1 стр. = 2 11 b

14 Задача Сигнальное устройство может подавать световой сигнал 5 цветов. Сколько сигналов можно подать с помощью табло, на котором закреплено три таких устройства ?

15 Задача Каков минимальный информационный объем автомобильного номера, если в нем используется три буквы из 20 возможных и пять цифр ?

16 Информация, энтропия и возможность выбора Любая информация, уменьшающая неопределенность ( энтропию ), уменьшает и возможность выбора ( количество вариантов ). (c) Попова О. В., AME, Красноярск, неопределенность (энтропия) информация возможность выбора

17 Интересные факты Общая сумма информации, собранной во всех библиотеках мира, оценивается как Самая высокая известная нам плотность информации в молекулах ДНК Самая высокая известная нам плотность информации в молекулах ДНК Если бы вся эта информация была записана в молекуле ДНК, для нее хватило бы одного процента объема булавочной головки. Как носитель информации, молекула ДНК эффективней современных кварцевых мегачипов в 45 миллионов миллионов раз. Если бы вся эта информация была записана в молекуле ДНК, для нее хватило бы одного процента объема булавочной головки. Как носитель информации, молекула ДНК эффективней современных кварцевых мегачипов в 45 миллионов миллионов раз.

18 Семантическая мера информации смысл и содержательность сообщений

19 (c) Попова О. В., AME, Красноярск, Семантическая ( смысловая ) теория информации связана с семиотикой – теорией знаковых систем. Знаковые системы – это естественные и искусственные языки. Они служат средством обмена информацией между высокоорганизованными системами, способными к обучению и самоорганизации ( живые организмы, машины с определенными свойствами ).

20 (c) Попова О. В., AME, Красноярск, Для измерения количества смыслового содержания информации, наибольшее признание получила тезаурусная мера, которая связана со способностью пользователя принимать поступившее сообщение. Тезаурус - это совокупность сведений, которыми располагает пользователь или система.

21 « Тезаурус » – сокровищница ( греч.) Человеческое знание, можно рассматривать в виде совокупности смысловыражающих элементов и смысловых отношений между ними = тезаурус. Количество семантической информации, извлекаемое человеком из сообщения, можно определить степенью изменения его знаний. Чем больше изменений, тем больше информации получено. Количество семантической информации, извлекаемое человеком из сообщения, можно определить степенью изменения его знаний. Чем больше изменений, тем больше информации получено. Человек получает информацию только в том случае, когда в его знаниях, т. е. в его тезаурусе после получения сообщения произошли какие - либо изменения. Человек получает информацию только в том случае, когда в его знаниях, т. е. в его тезаурусе после получения сообщения произошли какие - либо изменения.

22 Количество семантической информации = 0, если : « ИЗВЕСТНО ВСЕ » - Вам сообщают что - либо уже известное, например, что дважды два – четыре, что после ночи наступает день … « НЕИЗВЕСТНО НИЧЕГО » - Вам сообщают что - либо на неизвестном вам языке, Вы видите совершенно незнакомую математическую формулу … Т. е. информация была передана, приемник информацию получил, но его знания ( тезаурус ) остались без изменений. (c) Попова О. В., AME, Красноярск,

23 Максимальное количество семантической информации потребитель приобретает при согласовании её смыслового содержания со своим тезаурусом, когда поступающая информация понятна пользователю и несет ему ранее не известные ( отсутствующие в его тезаурусе ) сведения. Т. о., эффективность передачи информации зависит от соотношения тезаурусов источника и приемника. (c) Попова О. В., AME, Красноярск,

24 Прагматическая мера информации полезность информации для достижения цели

25 (c) Попова О. В., AME, Красноярск, Цель – опережающее отражение, модель будущего результата деятельности. Цель является высшим уровнем передачи информации. Информация передается для того, чтобы вызвать соответствующий отклик у ее получателя.

26 Прагматический аспект информации В языке предложения связываются друг с другом так, чтобы сформулировать просьбу, недовольство, вопрос, указание, чтобы вызвать определенное действие у получателя сообщения. Птица - самец своим пением старается привлечь внимание самки или предъявить права на территорию. С помощью рекламного объявления производитель старается убедить покупателя приобрести его продукцию. (c) Попова О. В., AME, Красноярск,