Измерение информации. Два подхода к измерению информации. Количество информации как мера уменьшения неопределенности знаний. Содержательный (вероятностный) - презентация

1 Измерение информации. Два подхода к измерению информации. Количество информации как мера уменьшения неопределенности знаний. Содержательный (вероятностный) подход к измерению информации. Количество информации как мера уменьшения неопределенности знаний. Содержательный (вероятностный) подход к измерению информации. Тема: Единицы измерения информации. Соотношения между единицами. Единицы измерения информации. Соотношения между единицами. Тема: Алфавитный подход к определению количества информации. Расчёт количества информации при алфавитном подходе. Алфавитный подход к определению количества информации. Расчёт количества информации при алфавитном подходе. Тема: Образцы решения задач Образцы решения задач Теория Проверь себя! (задачник) Проверь себя! (задачник) Теория (углублённый уровень) Теория (углублённый уровень) Теория Образцы решения задач Образцы решения задач Проверь себя! (задачник) Проверь себя! (задачник) Примеры перевода единиц Примеры перевода единиц Проверь себя! (задачник) Проверь себя! (задачник) Почти серьёзные задачки Почти серьёзные задачки

2 !!! Содержательный (вероятностный) подход является субъективным, т.к. одну и ту же информацию разные люди могут оценивать по разному. Для одного человека сведения в сообщении могут быть важными и понятными, для другого бесполезными, непонятными или вредными. Содержательный (вероятностный) подход к определению количества информации Если заключённые в каком-то сообщении сведения являются для человека новыми, понятными, пополняют его знания, т.е. приводят к уменьшению неопределённости знаний, то сообщение содержит информацию. 1 бит – количество информации, которое содержится в сообщении, которое уменьшает неопределённость знаний в 2 раза. Пример1. При бросании монеты возможны 2 события (случая) – монета упадёт орлом или решкой, причём оба события равновероятны (при большом количестве бросаний количество случаев падения монеты орлом и решкой одинаковы). После получения сообщения о результате падения монеты неопределённость знаний уменьшилась в 2 раза, и, поэтому, количество информации, полученное при этом равно 1 бит.

3 1 бит – наименьшая единица информации. Более крупные единицы – байт, килобайт, мегабайт, гигабайт. Единицы измерения информации. Перевод единиц измерения. Система единиц измерения информации: 1 байт = 8 бит 1 Кбайт = 2 10 байт = 1024 байт; 1 Мбайт = 2 10 Кбайт = 1024 Кбайт = 2 20 байт; 1 Гбайт = 2 10 Мбайт = 1024 Мбайт = 2 20 кбайт = 2 30 байт Примеры перевода единиц: 1) 5 байт = 5 * 8 бит = 40 бит; 2) 24 бита = 24 : 8 байта = 3 байта; 3) 4 Кбайт = 4 * 1024 байт = 4096 байт; 4) бита = : 8 байт = 2048 байт; 2048 байт : 1024 = 2 Кбайта. 1 бит – количество информации, которое содержится в сообщении, которое уменьшает неопределённость знаний в 2 раза. Информационный объём носителей информации: Дискета – 1,44 Мбайт; компакт-диск 700 Мбайт; DVD-диск – до 17 Гбайт (стандарт – 4,7 Гбайт); жёсткий диск – от 20 Гбайт до 80 Гбайт и более (стандарт 80 Гбайт); Flash-память – 256 Мбайт – 2 Гбайт. Перейти в задачник

4 Если события равновероятны, то количество информации можно рассчитать по формуле: N = 2 I N = 2 I, где N – число возможных событий, I – количество информации в битах. Задача 1. В коробке 32 карандаша, все карандаши разного цвета. Наугад вытащили красный. Какое количество информации при этом было получено? Решение. Так как вытаскивание карандаша любого цвета из имеющихся в коробке 32 карандашей является равновероятным, то число возможных событий равно 32. N = 32, I = ? N = 2 I, 32 = 2 5, I = 5 бит. Ответ: 5 бит. Вычисление количества информации для равновероятных событий. Перейти в задачник Формула была предложена американским инженером Р. Хартли в 1928 г.

5 4. Выразить 5 кбайт в байтах. 3. Выразить 440 бит в байтах. 2. Сколько бит в 12 байтах? Задачи на перевод единиц измерения информации 1. Сколько бит в 1 байте? бит байт бит 5. Перевести 3 Мбайта в килобайты. кбайт 6. Поместится ли файл размером 1450 кбайт на дискете?

6 **Задача 1. В школьной библиотеке 16 стеллажей с книгами, на каждом – по 8 полок. Ученику сообщили, что нужный учебник находится на 2-ой полке 4-го стеллажа. Какое количество информации получил ученик? Решение. 1) Число стеллажей (случаев) – 16. N 1 = 16, N 1 = 2 I, 16 = 2 I, 16 = 2 4, I 1 = 4 бита. 2) Число полок на каждом стеллаже (случаев) – 8, N 2 = 8, N 2 = 2I, 8 = 2 3, I 2 = 3 бит. 3) I = I 1 + I 2, I = 4 бита + 3 бита = 7 бит. Ответ: 7 бит. Перейти в задачник

7 *Задача 3. Загадывают число в диапазоне от 1 до 200. Какое наименьшее количество вопросов надо задать, чтобы наверняка отгадать число. На вопросы можно отвечать только «Да» или «Нет». Решение. Правильная стратегия состоит в том, чтобы количество вариантов каждый раз уменьшалось вдвое. Например, загадано число вопрос: Число >100? Да. 2 вопрос: Число < 150? Нет. 3 вопрос: Число > 175? Нет. и т.д. …………………………………………… Количество событий в каждом варианте будет одинаково, и их отгадывание равновероятно. N = 2 I, 200 = 2 I, 7 < I < 8. Т.к. количество вопросов нецелым числом быть не может, то необходимо задать не более 8 вопросов. Ответ: 8 вопросов Перейти в задачник

8 Существует множество ситуаций, когда возможные события имеют различные вероятности реализации. Рассмотрим примеры таких событий. 1. В коробке 20 карандашей, из них 15 красных и 5 чёрных. Вероятность вытащить наугад красный карандаш больше, чем чёрный. 3. При случайном падении бутерброда вероятность падения его маслом вниз (более тяжёлой стороной) больше, чем маслом вверх. 4. В пруду живут 8000 карасей, 2000 щук и пескарей. Самая большая вероятность для рыбака – поймать в этом пруду пескаря, на втором месте – карася, на третьем – щуку. Количество информации в сообщении о некотором событии зависит от его вероятности. Чем меньше вероятность события, тем больше информации оно несёт. P = K/N, где К – количество случаев реализации одного из исходов события, N – общее число возможных исходов одного из событий I = log 2 (1/p), где I – количество информации, p – вероятность события **Вычисление количества информации для событий с различными вероятностями. Что такое логарифм? Вычисление логарифмов с помощью калькулятора Windows. Что такое логарифм? Вычисление логарифмов с помощью калькулятора Windows. Перейти в задачник Задача. В коробке 50 шаров, из них 40 белых и 10 чёрных. Определить количество информации в сообщении о вытаскивании наугад белого шара и чёрного шара. Решение. Вероятность вытаскивания белого шара P 1 = 40/50 = 0,8 Вероятность вытаскивания чёрного шара P 2 = 10/50 = 0,2 Количество информации о вытаскивании белого шара I 1 = log 2 (1/0,8) = log 2 1,25 = log1,25/log2 0,32 бит Количество информации о вытаскивании чёрного шара I 2 = log 2 (1/0,2) = log 2 5 = log5/log2 2,32 бит Ответ: 0,32 бит, 2,32 бит

9 Количество информации в случае различных вероятностей событий определяется по формуле: где P i – вероятность i-го события, N – количество возможных событий Количество информации в сообщении поймать рыбу (карася или окуня) рассчитывается по формуле Шеннона I = - p 1 log 2 p 1 - p 2 log 2 p 2 I = - 0,75*log 2 0,75 - 0,25*log 2 0,25 = - 0,75*(log0,75/log2)-0,25*(log0,25/log2) = = 0,604 бит 0.6 бит. Ответ: в сообщении содержится 0,6 бит информации Задача. В озере живут караси и окуни. Подсчитано, что карасей 1500, а окуней Сколько информации содержится в сообщениях о том, что рыбак поймал карася, окуня, поймал рыбу? Формула Шеннона: Формула Шеннона: (американский учёный, 1948 г.) Решение. События поимки карася или окуня не являются равновероятными, так как окуней в озере меньше, чем карасей. О бщее количество карасей и окуней в пруду = Вероятность попадания на удочку карася p 1 = 1500/2000 = 0,75, окуня p 2 – 500/2000 = 0,25. I 1 = log 2 (1/p1), I 1 = log 2 (1/p 2 ), где I 1 и I 2 – вероятности поймать карася и окуня соответственно. I 1 = log 2 (1 / 0,75) 0,43 бит, I 2 = log 2 (1 / 0,25) 2 бит – количество информации в сообщении поймать карася и поймать окуня соответственно. Перейти в задачник Что такое логарифм? Вычисление логарифмов с помощью калькулятора Windows. Что такое логарифм? Вычисление логарифмов с помощью калькулятора Windows.

10 Логарифмом числа а по основанию b называется показатель степени, в которую надо возвести число a, чтобы получить число b. a log a b = b, a > 0, b > 0, a 1 log 2 4 = 2 Вычисление логарифмов чисел по основанию 2 с помощью электронного калькулятора log 2 6 = log 6 / log 2, где log 6 и log 2 – десятичные логарифмы Программа вычисления логарифма числа 6 по основанию 2 ( log 2 6 ) с помощью инженерного калькулятора: 6, log, /, 2, log, = log 2 8 = 3, т.к. 2 3 = 8 log 2 32 = 7 log 2 16 = 4log = 8 log 2 6 = ? log 2 6 2,59 Что такое логарифм? 2 х = 6 – не подобрать целое x, не вычислить с помощью инженерного калькулятора (т.к. не имеется функции вычисления логарифма числа по произвольному основанию) Выполнить переход к основанию 10: log 2 6 = log 10 6 / log 10 2 (основание 10 не пишется)

11 2 0 = = = = = = = = = = = 128 Повторим значения степеней числа =2*2*2 = 8 n n2n Перейти в задачник

12 1. Бросили монету и она упала орлом. Какое количество информации при этом получили? бит 5*. Какое количество информации будет содержать зрительное сообщение о цвете вынутого из мешочка шарика, если в нём содержится 25 белых, 25 красных, 25 зелёных и 25 синих шариков. 4. В рулетке общее количество лунок равно 256. Какое количество информации мы получаем при остановке шарика в одной из лунок? 2. Какое количество информации несёт в себе сообщение, что нужная вам программа находится на одной из 8 дискет? 3. Какое количество информации получит второй игрок при игре в крестики-нолики на поле 8 х 8, после хода первого игрока, играющего крестиками? бит байт бит Задачи на расчёт количества информации при вероятностном подходе 6*. Лиза идёт в театр. У неё имеется билет в 8 ряд на 32 место. Оказалось, что в театре 32 ряда, а место Лизы последнее в ряду. Сколько информации было получено при прочтении билета? Для получения помощи щёлкни по картинке слева от задачи бит 7**. Какое минимальное количество вопросов достаточно задать собеседнику, чтобы точно определить день и месяц его рождения? Вопросы задаются таким образом, чтобы можно было получить ответ «да» или «нет» вопросов бит

13 Алфавитный подход к измерению информации. Алфавит – множество символов, используемых при записи текста. Мощность алфавита – полное количество символов в алфавите. Если считать, что все символы алфавита встречаются в тексте с одинаковой частотой (равновероятны), то количество информации, которое несёт каждый символ, можно определить по формуле: N = 2 I, где N – мощность (количество символов) алфавита, I – количество бит, которое приходится на 1 символ. Кодировка текста в компьютере АлфавитМощностьКоличество бит на символ Двоичный ( 0, 1)21 бит Кодировка ASCII2568 бит = 1 байт Кодировка Windows2568 бит = 1 байт Кодировка Unicode бит = 2 байта Восьмеричный (0 – 7)83 бита Шестнадцатеричный (0 – 9, А, B,C, D, E, F) 164 бита Количество информации в сообщении равно произведению количества информации, которое несёт 1 символ, на количество символов в сообщении. !!! Алфавитный подход является объективным, т.к. он не зависит от субъекта (человека), воспринимающего текст. Перейти в задачник Образцы решения задач = I * K, Количество информации в сообщении = I * K, где К – количество символов в сообщении

14 Задача 1. Сколько бит информации содержит слово «компьютер», если оно набрано на компьютере с помощью кодировки Windows. Решение. В кодировке Windows 256 символов, значит, на 1 символ приходится 8 бит или 1 байт информации. В слове 9 символов, поэтому оно содержит 9 х 8 бит = 72 бит информации. Ответ: 72 бит Задача 2. Сколько информации содержит предложение «Скажите, пожалуйста, который час?». Слово набрано на компьютере при помощи кодировки Unicode. Решение. В кодировке Unicode 1 символ содержит 2 байта информации. В предложении 27 букв, 3 знака препинания и 3 пробела – всего 33 символа. Т.к. на 1 символ в кодировке Unicode приходится 2 байта, то предложение содержит 2 байта * 33 = 66 байт информации. Ответ: 66 байт Образцы решения задач: Задача 3. Сколько бит информации с точки зрения алфавитного подхода содержится в 8- ричном числе 341? Решение. Каждый разряд 8-ричного числа содержит 3 бита информации. 8-ричное число 341 имеет 3 разряда, значит в нём содержится 9 бит информации. Ответ: 9 бит Перейти в задачник

15 3. Алфавит некоторого народа содержит 16 символов. Сколько информации несёт телеграмма из 12 символов? Задачи на расчёт количества информации при алфавитном подходе байт 2. Сколько байт информации содержится в сообщении «Ребята, давайте жить дружно!» (кавычки не считать) 1. Мощность некоторого алфавита 64 символа. Какова длина кода для кодирования 1 символа? бит 4. Объём информационного сообщения 200 бит. В сообщении 25 символов. Какова мощность алфавита? бит байт 5. В книге 100 страниц. На странице 40 строк по 50 символов. При наборе текста использовалась кодировка Unicode. Найти информационный объём книги в байтах. 6. Сколько информации содержит шестнадцатеричное число 5АF c точки зрения алфавитного подхода? бит

16 Почти серьёзная задача 1: Главный бухгалтер Копейкин для выдачи зарплаты сотрудникам получил 1024 одинаковые желанные зелёненькие бумажки. После выдачи денег в кассе оказалось, что не хватает 4 бумажек. Сколько бит информации непрерывно крутится в голове у бедного Копейкина, если он подозревает в хищении одного из своих 7 сотрудников бухгалтерии и кассира? Выберите правильный ответ и нажмите клавишу Проверить: следующая задача следующая задача Перейти к странице самостоятельного решения задач Перейти к странице самостоятельного решения задач

17 Почти серьёзная задача 2: Умный дятел Гоша вот уже 10 часов без перерыва стучит по клавиатуре, набирая текст научной работы о видах вредителей хвойных деревьев и роли дятлов в полном избавлении от них. Скорость набора текста Гошей – 100 стуков/минуту. Сколько байт информации настучит дятел, если для набора текста он использует компьютер выпуска 1995 года с операционной системой Windows95, вывезенный в лес ввиду полного морального старения. Введите ответ в текстовое поле: Перейти к странице самостоятельного решения задач Перейти к странице самостоятельного решения задач следующая задача следующая задача байт

18 Перейти к странице самостоятельного решения задач Перейти к странице самостоятельного решения задач Почти серьёзная задача 3: Секретный алфавит Бабы Яги Для записи рецептов своих зелий Баба Яга использует вышеприведённый секретный алфавит. Ключом к рецепту является количество байт информации в нём. Баба Яга забыла ключ. Она сохранит Вам жизнь, если Вы поможете ей его восстановить. Сколько байт информации содержит рецепт одного из зелий Бабы Яги? Рецепт Бабы Яги Введите ответ в текстовое поле: байт Ключ: