Вероятностный и алфавитный подходы к определению количество информации

ИНФОРМАЦИЯ (лат. informatio) – сведение, разъяснение, ознакомление. Базовые понятия: Геометрия Точка, прямая, плоскость Информатика Информация Определение базовых понятий невозможно выразить через другие, более простые понятия. Содержание базовых понятий поясняется на примерах или выявляется путем их сопоставления с содержанием других понятий. ПОВТОРИМ

ИНФОРМАЦИЯ Физика Рассматривается мера сложности и упорядоченности системы; Антиэнтропия или энтропия с обратным знаком Биология Связывается с целесообразным поведением животных Используется в связи с исследованиями механизмов наследственности Кибернетика Связано с процессами управления в сложных системах (живых организмах или технических устройствах) Понятие «информация» является общенаучным, используется в информатике, физике, кибернетике, биологии и др. науках

СВОЙСТВА ИНФОРМАЦИИ Одну и ту же информацию разные люди могут оценить по разному Понятность Полезность Достоверность Актуальность Полнота Точность

ИЗМЕРЕНИЕ ИНФОРМАЦИИ Вероятностный подход Алфавитный подход ИНФОРМАЦИЯ Подходы к измерению информации по отношению к человеку по отношению к техническим устройствам Знания Последовательность символов, сигналов Через неопределенность знаний с учетом вероятности событий Через количество символов с учетом информационного веса символов

ИЗМЕРЕНИЕ ИНФОРМАЦИИ: вероятностный подход Информация для человека это знания знание ЗНАНИЕ Информация, которую получает человек, приводит к уменьшению неопределенности знаний незнание

ИЗМЕРЕНИЕ ИНФОРМАЦИИ: содержательный (вероятностный) подход Для равновероятных событий: N = 2 I где N – количество возможных событий, I – количество информации Для событий с различными вероятностями (формула Шеннона): где N – количество возможных событий, I – количество информации, p i – вероятность i-го события

РЕШЕНИЕ ЗАДАЧ Какое количество информации несет в себе сообщение о том, что нужная вам программа находится на одной из восьми дискет? N = 2 I 8 = 2 I Ответ: 3 бита

РЕШЕНИЕ ЗАДАЧ Какое количество информации получит второй игрок при игре в крестики-нолики на поле 8х8 после первого хода первого игрока, играющего крестиками? N = 2 I 64 = 2 I Ответ: 6 бит

Алфавитный подход к определению количества информации Подход, основанный на подсчёте числа символов в сообщении (количества данных), называется алфавитным.

Итак, мы имеем формулы, необходимые для определения количества информации в алфавитном подходе: