Измерение информации Содержательный подход.

Пусть в некотором сообщении содержатся сведения о том, что произошло одно из N равновероятных событий (ни одно из событий не имеет преимуществ перед другим). Тогда количество информации, заключенное в этом сообщении, - i бит и число N связаны формулой:

Пример: При бросании монеты сообщение о результате жребия (например, выпал орел) несет 1 бит информации. Кол-во возможных вариантов – 2 (орел или решка)

Пример: В барабане для розыгрыша лотереи находится 32 шара. Сколько информации содержит сообщение о первом выпавшем номере. Количество возможных вариантов – 32

Измерение информации Алфавитный подход.

Алфавитный подход к измерению информации позволяет определить количество информации, заключенной в тексте.

Множество символов, используемых при записи текста, называется алфавитом. Полное количество символов в алфавите называется мощностью (размером) алфавита. (обознач.: N)

Примеры: В 2-х символьном алфавите каждый символ весит 1 бит. В 4-х символьном алфавите каждый символ весит 2 бита. В 256-ти символьном алфавите каждый символ весит 8 бит.

Если весь текст состоит из К символов, то при алфавитном подходе размер содержащейся в ней информации равен: где i – информационный вес одного символа