Теория информации Романов Артем Борисович Лекция 1: Количество информации, Энтропия.

Литература Лидовский В.В. Теория информации Кудряшов Б.Д. Теория информации Труды Шеннона и других авторов Онлайн курсы

Информация (Философия) Знания об окружающем мире, помогающие преобразовывать этот мир под свои нужды, чаще всего эти знания представляют собой различные тексты (Информатика) Данные, последовательность битов в памяти компьютера (Теория систем) «Связи», передача вещества и энергии от одной части системы к другой (Юриспруденция) Сведения (сообщения, данные) независимо от формы их представления (Кибернетика, Н. Винер) Обозначение содержания, полученное нами из внешнего мира в процессе приспосабливания к нему нас и наших чувств (Физика) Состояние группы физических систем

Передача информации, кодирование Сигнал это любая функция, аргументом которой является время, а значением величина, которую можно представить числом или символом. Информационный канал - любое устройство, предназначенное для передачи сигнала в пространстве или времени Кодирующее устройство преобразователь сигнала в форму, допускающую передачу по линии связи Декодирующее устройство преобразователь сигнала в первоначальную форму, т.е. в тот вид, который был получен из источника сигнала. Обратимое кодирование - преобразование информации из одной формы в другую, допускающее восстановление исходной формы информации (сигнала) без искажений

Код Код правило (алгоритм) сопоставления каждому конкретному сообщению строго определённой комбинации символов (знаков) (или сигналов).

Количество информации Коды , , 01, 10, , 001, …, 110, , 0001, …, 1110, ……… … ……

Собственная информация

Энтропия

Свойства энтропии

Количество информации, получаемой в процессе сообщения

Примеры 1.Подсчитать количество информации в событии подбрасывания игрального кубика (для 4-, 6-, 8-, 12-, 20-гранника) 2.Подсчитать количество информации в сообщении о доставании из игральной колоды карты определенного a) цвета b) масти c) одну из «старших» d) одна из карт e) конкретная карта 3.Шарик находится в одной из трех урн: А, В или С. Определить сколько бит информации содержит сообщение о том, что он находится в урне В 4.Вероятность первого события составляет 0,5, а второго и третьего 0,25. Чему для такого распределения равна информационная энтропия.

1) Вот список сотрудников некоторой организации: Определите количество информации, недостающее для того, чтобы выполнить следующие просьбы: a) Пожалуйста, позовите к телефону Иванову. b) Меня интересует одна ваша сотрудница она 1970 года рождения. 2) Какое из сообщений несет больше информации: - В результате подбрасывания монеты (орел, решка) выпала решка. - На светофоре (красный, желтый, зеленый) сейчас горит зеленый свет. - В результате подбрасывания игральной кости (1…6) выпало 3 очка. 3) Какое из соотношений несет в себе больше информации x = 5 или x > 3? Год рожденияФамилияИмя 1970ИвановаМарина 1970ИвановаНаталья 1970ПетроваТатьяна 1970ЗвягинаИрина

Другие меры измерения количества информации

Взаимная информация

Условная энтропия