1 Формальные определения 1.1 Определение по Шеннону 1.2 Определение с помощью собственной информации 1.2 Определение с помощью собственной информации 2 Свойства 2.1 Математические свойства 2.2 Эффективность 3 История

Информацио́нная энтропи́я мера хаотичности информации, неопределённость появления какого-либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на символ передаваемого сообщения. информациипервичного алфавита Энтропия это количество информации, приходящейся на одно элементарное сообщение источника, вырабатывающего статистически независимые сообщения. 1) 2)

Шеннон задал требования к измерению информации: Шеннон мера должна быть непрерывной; то есть изменение значения величины вероятности на малую величину должно вызывать малое результирующее изменение функции; в случае, когда все варианты (буквы в приведённом примере) равновероятны, увеличение количества вариантов (букв) должно всегда увеличивать значение функции; должна быть возможность сделать выбор (в нашем примере букв) в два шага, в которых значение функции конечного результата должно являться суммой функций промежуточных результатов.

Функция энтропии H должна удовлетворять сл. условиям: определена и непрерывна для всех, где для всех и. Для целых положительных n, должно выполняться следующее неравенство: Для целых положительных b i, где, должно выполняться равенство: функция, удовлетворяющая этим требованиям, имеет вид: измерение энтропии:

конечное число значений X: и собственной информации: I(X) = logP X (X). Тогда энтропия определяется, как

источник, который генерирует строку, состоящую только из букв «А», энтропия равна нулю: 2.1 Математические свойства 2.1 Математические свойства Неотрицательность:. Ограниченность:. Равенство, если все элементы из X равновероятны. Если независимы, то. Энтропия выпуклая вверх функция распределения вероятностей элементов. Если имеют одинаковое распределение вероятностей элементов, то H(X) = H(Y).

эффективность Соотношение энтропии исходного и оптимизированного алфавита это эффективность исходного алфавита, которая может быть выражена в процентах. Эффективность исходного алфавита с n символами может быть также определена как его n-арная энтропия. Энтропия ограничивает максимально возможное сжатие без потерь, которое может быть реализовано при использовании : типичного набора кодирования Хаффмана, кодирования Хаффмана кодирования Лемпеля Зива Велча арифметического кодирования. арифметического кодирования

В 1948 году, Клод Шеннон предложил революционный вероятностный подход к пониманию коммуникаций и создал первую, истинно математическую, теорию энтропии.1948 годуКлод Шеннон энтропии Его идеи послужили основой разработки двух основных направлений: теории информации, которая использует понятие вероятности и эргодическую теорию для изучения статистических характеристик данных и коммуникационных систем, теории информации теории кодирования, в которой используются главным образом алгебраические и геометрические инструменты для разработки эффективных кодов. теории кодирования

Понятие энтропии, как меры случайности, введено Шенноном в его статье «A Mathematical Theory of Communication», опубликованной в двух частях в Bell System Technical Journal в 1948 году.Bell System Technical Journal