Вероятностный подход

N = 2 I N – количество равновероятных событий I – количество информации, бит формула Хартли, 1928 г. I = log 2 N

событие Неопределен- ность знаний Количество информации, бит Бросание монеты Бросание 4-гранной пирамидки Направление ветра Оценка за урок Первый ход в крестики-нолики на поле 4 х 4 N = 2 I

1 байт 2 3 бит 8 бит 1 Кбайт 2 10 байт 1024 байт 1 Мбайт 2 10 Кбайт 1024 Кбайт 1 Гбайт 2 10 Мбайт 1024 Мбайт 1 Тбайт 2 10 Гбайт 1024 Гбайт

5 Кбайт_______ байт_________ бит ____ Кбайт_______ байт бит ____ Кбайт_______ байт 2 13 бит ___ Гбайт 1536 Мбайт____ Кбайт 512 Кбайт байт бит

I = I = p i – вероятность i-го события I – количество информации, бит формула Шеннона, 1948 г. Логарифмом данного числа называется показатель степени, в которую нужно возвести другое число, называемое основанием логарифма, чтобы получить данное число.

P 1 = ½, P 2 = 4, P 3 = 8, P 4 = 8. I = -(1/2*log 2 1/2 + 1/4*log 2 1/4 + 2*(1/8*log 2 1/8) = = (1/2*log /4*log *(1/8*log 2 8) = = 1/2 + 2/4 + 2*3/8 = 14/8 битов = 1,75 битов.

Вопрос второго участника Ответ первого участника Неопределен- ность знания Полученное количество информации 16 Число больше 8?Нет 81 бит Число больше 4?Нет 41 бит Число больше 2?Да 21 бит Это число 3?Да 11 бит

Вопрос второго участника Ответ первого участника Неопределен- ность знания Полученное количество информации

Вопрос второго участника Ответ первого участника Неопределен- ность знания Полученное количество информации

набор символов знаковой системы Знаковая система Символы алфавита Мощность алфавита, N Информацио н-ная ёмкость символа, I Двоичная система счисления 0, 12 Восьмеричная система счисления 0, 1, 2, 3, 4, 5, 6, 783 Десятичная система счисления 0, 1, 2, 3, 4, 5, 6, 7, 8, 9 103,32 Шестнадцатеричная система счисления 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, A, B, С, D, E, F164 1

Знаковая система Символы алфавита Мощность алфавита, N Информаци- онная ёмкость символа, I Русский алфавит Аа, Бб, Вв, Гг, Дд, Ее, Ёё, Жж, Зз, Ии, Йй, Кк, Лл, Мм, Нн, Оо, Пп, Рр, Сс, Тт, Уу, Фф, Хх, Цц, Чч, Шш, Щщ, ь, ы, ъ, Ээ, Юю, Яя 635,97 Английский алфавит Aa, Bb, Cc, Dd, Ee, Ff, Gg, Hh, Ii, Jj, Kk, Ll, Mm, Nn, Oo, Pp, Qq, Rr, Ss, Tt, Uu, Vv, Ww, Xx, Yy, Zz 525,7 Азбука Морзе Химический алфавит H, He, Li, Be, B, C, N, O, F, Ne, Na, Mg, Al … Rg 1116,79

I c = i * k I c - информация в сообщении i – информационная ёмкость символа k – количество символов в сообщении ik IcIc 5D информатика