Информация и информационные процессы

знания Информация и знания незнание

Уменьшение неопределенности знаний в 2 раза несет 1 бит информации орел решка или 1 бит

Существует множество ситуаций, когда возможные события имеют различные вероятности реализации. Например: 1. Когда сообщают прогноз погоды, то сведения о том, что будет дождь, более вероятно летом, а сообщение о снеге – зимой. 2. Если вы – лучший ученик в классе, то вероятность сообщения о том, что за контрольную работу вы получили 5, больше, чем вероятность получения двойки. 3. Если на озере живет 500 уток и 100 гусей, то вероятность подстрелить на охоте утку больше, чем вероятность подстрелить гуся. 4. Если в мешке лежат 10 белых шаров и 3 черных, то вероятность достать черный шар меньше, чем вероятность вытаскивания белого. 5. Если монета несимметрична (одна сторона тяжелее другой), то при ее бросании вероятности выпадения «орла» и «решки» будут различаться.

– один из создателей математической теории информации. Родился в 1916 г. Клод Элвуд Шеннон

где I - количество информации; N - количество возможных событий; p i - вероятность i-го события. Американский инженер и математик Клод Элвуд Шеннон в 1948 г. предложил формулу для вычисления количества информации в случае различных вероятностей событий: k - количество конкретных событий, т.е. величина, показывающая, сколько раз произошло интересующее нас событие. Знак минус в формуле Шеннона не означает, что количество информации в сообщении – отрицательная величина. Объясняется это тем, что вероятность р, согласно определению, меньше единицы, но больше нуля. Так как логарифм числа, меньшего единицы, т.е. log p i – величина отрицательная, то произведение вероятности на логарифм числа будет положительным.

пусть при бросании несимметричной 4-хгранной пирамидки вероятности отдельных событий будут равны: Тогда Этот подход к определению количества информации называется вероятностным.

Если, следовательно исходы равновероятны, то вероятность каждого исхода – это число, то формула Хартли (американский инженер – связист) - предложена в 1928 г. 2 i = N i – количество информации, заключенное в сообщении N – общее количество равновероятных событий

Определим количество информации, которое мы получим при бросании симметричной и однородной 4-хгранной пирамидки: Таким образом, при бросании симметричной пирамидки, когда события равновероятны, получим большее количество информации (2 бита), чем при бросании несимметричной (1,75 бита), когда события неравновероятны.

Задачник т.1 стр – 8 Самостоятельно: стр i = N

ikt-tarantina.ucoz.ru / Ученикам / Задания к урокам/ Домашнее задание 10 класс