27 сентября 2012 г.27 сентября 2012 г.27 сентября 2012 г.27 сентября 2012 г. Тема 3. Описательная статистика 3.1. Измерение центральной тенденции 3.2. Измерение вариации 3.3. Исследовательский анализ данных

2 Иванов О.В., Соколихин А.А Цели После того, как мы познакомились с основными способами представления данных, изучим числовые характеристики, которые позволяют анализировать выборку и делать некоторые выводы.

27 сентября 2012 г.27 сентября 2012 г.27 сентября 2012 г.27 сентября 2012 г Измерение центральной тенденции МодаМедианаСреднее

4 Иванов О.В., Соколихин А.А Постановка задачи Измерение центральной тенденции (measure of central tendency) состоит в выборе одного числа, которое наилучшим образом описывает все значения признака из набора данных. Такое число называют центром, типическим значением для набора данных, мерой центральной тенденции. Зачем? 1. Получим информацию о распределении признака в сжатой форме. 2. Сможем сравнить между собой два набора данных (две выборки). 3. Минус: ведет к потере информации по сравнению с распределением частот.

5 Иванов О.В., Соколихин А.А Мода Мода – наиболее часто встречающееся значение в выборке, наборе данных. Обозначается Мо. Выборка: 5,41,20,421,20,48Мода=1,2 Для данных, расположенных в таблице частот, мода определяется как значение, имеющее наибольшую частоту.

6 Иванов О.В., Соколихин А.А Одна ли мода? Если наибольшую частоту имеет два значения выборки, выборочное распределение называется бимодальным. Если наибольшую частоту имеет более двух значений выборки, выборочное распределение называется мультимодальным. Если ни одно из значений не повторяется, мода отсутствует.

7 Иванов О.В., Соколихин А.А Свойства моды 1. Наличие одного или двух крайних значений, сильно отличающихся от остальных, не влияет на значение моды. 2. Мода совпадает с точкой наибольшей плотности данных. 3. Мода может иметь несколько значений. 4. Мода может существовать для всех типов данных. Единственная мера, которая работает в номинальной шкале!

8 Иванов О.В., Соколихин А.А Вариационный ряд Вариационный ряд - упорядоченные данные, расположенные в порядке возрастания значения признака, либо в порядке убывания. Пример. Набор данных: После упорядочения получим вариационный ряд: В порядке убывания получим другой вариационный ряд:

9 Иванов О.В., Соколихин А.А Ранжирование Ранжирование означает присвоение числам рангов. Ранжирование данных производится после упорядочения. Ранги присваиваются от 1 до последнего номера в наборе данных. Если несколько соседних элементов равны, им присваивается одинаковый ранг, равный среднему арифметическому. Пример. Имеем упорядоченный набор данных из 9 чисел: Нумеруем от 1 до 9: А теперь находим ранги: 1,51,53,53, Например, значение 6 имеет ранг 5.

10 Иванов О.В., Соколихин А.А Медиана Медиана есть значение серединного элемента для набора данных. Обозначается Me. Для нахождения медианы требуется составить вариационный ряд, то есть расположить все значения признака в порядке возрастания или убывания. Медиана расположена в середине вариационного ряда. Для набора из n значений, если n нечетно, средний элемент имеет номер: Если n четно, медиана находится как среднее арифметическое двух соседних серединных элементов: 1 1 n n

11 Иванов О.В., Соколихин А.А Пример вычисления медианы Для набора данных из семи чисел: После упорядочения получим вариационный ряд: Медиана есть средний элемент. Его номер четвертый. Если набор данных включает восемь чисел: Тогда медиана равна (3+6)/2=4,5

12 Иванов О.В., Соколихин А.А Свойства медианы 1. Сильно отличающиеся от остальных данных крайние значения не влияют на величину медианы. 2. Значение медианы является единственным для каждого набора данных. 3. Медиана может быть определена не из полного набора данных. Достаточно знать их расположение, общее число и несколько значений, расположенных в середине вариационного ряда. 4. Медиана может быть определена для числовых данных и данных, измеряемых порядковой шкалой. Для порядковой шкалы в случае четного количества элементов оба серединных значения объявляются медианой.

13 Иванов О.В., Соколихин А.А Среднее значение Выборочное среднее будем называть среднее арифметическое выборки, то есть сумму всех значений выборки, деленную на ее объем. Формула: где = сумма всех значений выборки n = объем выборки Индекс суммирования в статистической литературе часто опускается.

14 Иванов О.В., Соколихин А.А Пример вычисления среднего Среднее значение является «точкой равновесия». Вычислим среднее для выборки из семи значений: Получим :

15 Иванов О.В., Соколихин А.А Свойства среднего 1. Вычисляется только в числовых шкалах. 2. При ее вычислении необходимо использовать все данные. 3. Имеется для каждого набора данных только одно значение средней. 4. Средняя есть единственная мера центральной тенденции, для которой сумма отклонений каждого значения от нее равна нулю:

16 Иванов О.В., Соколихин А.А Среднее для сгруппированных данных Среднее для сгруппированных данных вычисляется по формуле: где = сумма всех значений выборки = сумма частот, равна объему выборки Если данные сгруппированы по интервалам, в качестве значения выбирается середина интервала.

17 Иванов О.В., Соколихин А.А Пример вычисления среднего Имеются результаты экзамена. Найти среднее значение. xff·x

18 Иванов О.В., Соколихин А.А Среднее - еще не значит «лучшее» Пример. В деревне 50 жителей. Среди них 49 человек – крестьяне с месячным доходом в 1 тыс.рублей, а один житель – зажиточный владелец строительной фирмы, с месячным доходом 451 тыс.рублей. Среднее равно 10 тыс. рублей. Однако, вряд ли можно утверждать, что это число адекватно представляет доход жителей деревни. В этом случае, более разумно взять в качестве меры центральной тенденции моду или медиану (обе равны 1 тыс. рублей).

19 Иванов О.В., Соколихин А.А Три меры и тип шкалы Три меры меры центральной тенденции накладывают ограничения на тип шкалы, в которой измеряется переменная. Типическое значение Номинальные данные Порядковые данные Интервальные данные Мода Медиана Среднее

20 Иванов О.В., Соколихин А.А Среднее для дихотомической шкалы Среднее может также применяться и для переменной, измеренной в дихотомической шкале. Если два значения признака кодируются 0 и 1, то среднее указывает долю (относительную частоту) единиц в выборке. Пример. 1, 0, 0, 0, 1, 1, 1, 1, 1, 0 Среднее равно 0,6. То есть 60% значений выборки принимают значение, равное единице.

21 Иванов О.В., Соколихин А.А Какое типическое значение наилучшее? 1.«Наилучшее значение» - это такое значение, что для случайно взятого элемента выборки вероятность того, что переменная примет именно это значение, будет максимальной. Мода. 2.«Наилучшее значение» - это такое значение, что сумма абсолютных отклонений значений переменной от данного будет наименьшей. Медиана. 3.«Наилучшее значение» - это такое значение, что сумма квадратов отклонений значений переменной от данного будет наименьшей. Среднее. В зависимости от данных каждое из трех значений может стать наилучшим.

27 сентября 2012 г.27 сентября 2012 г.27 сентября 2012 г.27 сентября 2012 г Измерение вариации Размах Квартильный размах Дисперсия Стандартное отклонение

23 Иванов О.В., Соколихин А.А Постановка задачи Рассмотрим три вариационных ряда: а) 999, 1000, 1001 б) 900, 1000, 1100 в) 1, 1000, 1999 Во всех трёх случаях среднее равно Однако, в случае в) значения признака «разбросаны» вокруг среднего сильнее, чем в б); а в случае б) – сильнее, чем в случае а). Как выразить степень разброса (вариации, measure of variation) одним числом?

24 Иванов О.В., Соколихин А.А Размах (Range) Размах – разность между наибольшим значением набора данных и наименьшим. Пример: Для набора данных 27, 8, 3, 12, 10, 26, 6, 19 размах равен R = 27 – 3 = 24. Размах – очень простая мера вариации, но очень «грубая».

25 Иванов О.В., Соколихин А.А Квартили (Quartile) Под квартилями понимаются значения, которые делят вариационный ряд на четыре равные части: Ниже первого квартиля расположено 25% всех данных. Между первым и вторым квартилем также расположено 25% данных. Второй квартиль совпадает с медианой. Размах квартилей (InterQuartile Range) вычисляется по формуле: 1n25%

26 Иванов О.В., Соколихин А.А Свойства квартильного размаха Если при вычислении размаха используются только наибольшее и наименьшее значения признака, а распределение данных между ними полностью игнорируется, то при вычислении квартильного размаха игнорируются «крайние» данные, расположенные за пределами первого и третьего квартилей. Между Q 1 и Q 3 расположены 50% всех данных. 1n25%

27 Иванов О.В., Соколихин А.А Нахождение квартилей Ранг нижнего квартиля: Ранг верхнего квартиля:

28 Иванов О.В., Соколихин А.А Коробковая диаграмма (Boxplot) Диаграмма, основывающаяся на вычислении и построении пяти характеристик. Удобна для анализа данных и используется очень часто. Рассмотрим на семинаре. МинимумМаксимум Медиана

29 Иванов О.В., Соколихин А.А Процентили Процентили это характеристики набора данных, которые выражают ранги элементов в процентах от 0% до 100%. Процентили: Минимальное значение 0% Первый квартиль25% Медиана50% Третий квартиль75% Наибольшее значение100% Процентили разбивают наборы количественных и порядковых данных на определенные части.

30 Иванов О.В., Соколихин А.А Дисперсия Дисперсия выборки – среднее арифметическое квадратов отклонений значений выборки от их среднего. Вычисляем по формуле: Знаменатель делает оценку дисперсии несмещенной. Будет объяснено позже.

31 Иванов О.В., Соколихин А.А Подсчет дисперсии в таблице Дисперсию удобно рассчитывать при помощи таблицы. 22 – 5 = – 5 = – 5 = – 5 = В первом столбце выборка. Второй и третий столбцы для вычислений. Сумма третьего столбца есть сумма квадратов отклонений значений выборки от среднего.

32 Иванов О.В., Соколихин А.А Вторая формула для дисперсии Дисперсия вычисляет также по равносильной формуле: Считается, что эта формула более пригодна для практических вычислений при ручном счете и при использовании электронных таблиц.

33 Иванов О.В., Соколихин А.А Подсчет дисперсии в таблице Пример вычисления дисперсии по второй формуле. В таблице рассчитываются лишь квадраты значений В первом столбце выборка. Во втором – квадраты значений. Сумма второго столбца есть сумма квадратов значений. Не требуется вычислять среднее!!!

34 Иванов О.В., Соколихин А.А Дисперсия для сгруппированных данных Дисперсия для сгруппированных данных вычисляется по формуле: Вычисления удобно проводить при помощи таблицы или с помощью программных средств.

35 Иванов О.В., Соколихин А.А Пример вычисления дисперсии Рассчитаем дисперсию для сгруппированных данных, используя таблицу. В первом столбце – возраст службы, во втором – количество респондентов. Используя вычисления в таблице, получим: Период 2– – – – –

36 Иванов О.В., Соколихин А.А Стандартное отклонение Стандартное отклонение вычисляется как корень из дисперсии: Стандартное отклонение имеет исключительную важность для описания распределения данных.

37 Иванов О.В., Соколихин А.А Неравенство Чебышева Для интерпретации стандартного отклонения применяют неравенство Чебышева. В терминах статистического исследования оно имеет следующую трактовку. В любой совокупности доля значений, попадающих в интервал будет равна, по крайней мере, где k - любое число, большее 1.

38 Иванов О.В., Соколихин А.А Интерпретация стандартного отклонения Исходя из приведенного выше, можно утверждать, что на интервале с границами содержится, по крайней мере, 3/4 всех данных (75%). На интервале с границами содержится, по крайней мере, 8/9 всех данных (89,9%). Это выполнено для любого распределения!!!

39 Иванов О.В., Соколихин А.А Стандартное отклонение для нормального закона 68,3% 95,4% 99,7% 13,5%

40 Иванов О.В., Соколихин А.А Коэффициент вариации Коэффициент вариации вычисляется как отношение стандартного отклонения к среднему: Коэффициент вариации полезен, если: 1. Сравниваются несколько совокупностей, измеряемых в разных величинах. 2. Сравниваются совокупности, измеряемые в одинаковых величинах, но имеющие сильно отличающиеся средние.

41 Иванов О.В., Соколихин А.А Пример для коэффициента вариации Какие данные имеют большую вариацию: имеющие стандартное отклонение 20 при среднем 200 или имеющие стандартное отклонение 3 при среднем 30? Ответ. Коэффициенты вариации равны. Вариация одинакова.

27 сентября 2012 г.27 сентября 2012 г.27 сентября 2012 г.27 сентября 2012 г Исследовательский анализ данных Выбросы Вид распределения

43 Иванов О.В., Соколихин А.А Разделы исследовательского анализа данных Исследовательский анализ данных - Exploratory Data Analysis (EDA) представляет собой применение статистических методов для представления, упорядочения данных и понимания их важнейших характеристик. Основными разделами анализа являются: 1. Центральная тенденция. Вычисление и анализ среднего, моды, медианы. 2. Стандартное отклонение. Нахождение дисперсии, стандартного отклонения. 3. Квартили. Минимум, максимум, размах, нахождение квартилей. 4. Выбросы. Нахождение и анализ выбросов. 5. Форма распределения. Асимметрия и куртозис.

44 Иванов О.В., Соколихин А.А Выбросы Расширенная коробковая диаграмма строится с анализом выбросов. Для этого необходимо знать разброс квартилей IQR. Умеренные выбросы изображаются темными точками и удалены ниже первой квартили или выше третьей от 1,5 IQR, но не более 3 IQR. Экстремальные выбросы изображаются светлыми точками и удалены ниже первой квартили или выше третьей более 3 IQR. IQR Экстремальные выбросы Умеренные выбросы Экстремальные выбросы Умеренные выбросы 1,5 IQR

45 Иванов О.В., Соколихин А.А Асимметрия (Skewness) Если распределение симметрично, асимметрия равна нулю. В этом случае совпадают значения моды, медианы и среднего арифметического. Если одно или несколько значений существенно превышают остальные, имеется положительная асимметрия. Средняя больше моды и медианы. Если одно или несколько значений существенно меньше остальных, имеется отрицательная асимметрия. Средняя меньше моды и медианы.

46 Иванов О.В., Соколихин А.А Коэффициент асимметрии Коэффициент асимметрии находится по следующей формуле: Изменяется в пределах от -3 до 3. Положителен при положительной асимметрии, отрицателен при отрицательной. Равен нулю, если асимметрия отсутствует.

47 Иванов О.В., Соколихин А.А Куртозис (Kurtosis) Под куртозисом понимается крутость кривой распределения, которая определяется сопоставлением кривой с кривой стандартного нормального распределения. Островершинное Плосковершинное Стандартное

48 Иванов О.В., Соколихин А.А Понятия и термины Центральная тенденция Мода, медиана, среднее Вариационный ряд, ранжирование Вариация, разброс Размах Квартиль, квартильный размах Дисперсия, стандартное отклонение Неравенство Чебышева Коэффициент вариации Выбросы Асимметрия, коэффициент асимметрии Куртозис

49 Иванов О.В., Соколихин А.А Задание на 5 минут (1) Напишите своими словами, что такое визуализация данных. Назовите известные вам способы визуализации.

50 Иванов О.В., Соколихин А.А Задание на 5 минут (2) В чем состоит отличие размаха от квартильного размаха? Определение не нужно. Нужно только отличие.

51 Иванов О.В., Соколихин А.А Задание. Актеры и актрисы Имеются данные о возрасте актеров и актрис, в котором они были удостоены Оскара. Актеры: Актрисы: Постройте коробковую диаграмму и сравните данные.

52 Иванов О.В., Соколихин А.А Задание. Актеры и актрисы. Решение

53 Иванов О.В., Соколихин А.А Задание. Актеры и актрисы. Решение (2) Всего 39 значений. ХарактеристикаАктерыАктрисы Минимум3121 Первая квартиль3730 Медиана4334 Третья квартиль5141 Максимум7680

54 Иванов О.В., Соколихин А.А Задание. Актеры и актрисы. Решение (3) После построения сокращенной коробковой диаграммы, строим полную. Несколько значений оказалось выбросами. Например, актер 76 лет умеренный выброс. Поскольку для актрис размах квартилей меньше, 80 и 74 года составили экстремальный выброс.

55 Иванов О.В., Соколихин А.А На семинарских занятиях… Вычислять моду, медиану, среднее Строить вариационный ряд и ранжировать Вычислять размах, квартили, квартильный размах Вычислять дисперсию, стандартное отклонение Оценивать размещение данных при помощи неравенства Чебышева Вычислять коэффициент вариации и сравнивать два набора данных Определять выбросы Описывать вид распределения, вычислять коэффициент асимметрии

56 Иванов О.В., Соколихин А.А Задачи Найдите моду, медиану, среднее Здесь приведено количество запросов, полученных Международной Финансовой Организацией в июле: 18, 12, 25, 16, 27, 32, 25, 15, 23, 22, 37, 16, 25, 19, 16, 25, 19, 16, 29, 38, 29, 30, 21. Восемнадцать студентов получили следующие экзаменационные оценки за сочинение: 78, 62, 98, 90, 88, 73, 79, 86, 81, 84, 93, 97, 63, 59, 78, 82, 87, 93. При тестировании 108 студентов коллежа были выявлены следующие показатели IQ: IQ Частота

57 Иванов О.В., Соколихин А.А Задачи Найти дисперсию и стандартное отклонение Были отобраны пятнадцать студентов. Им был задан вопрос: «Сколько времени каждый студент тратит на подготовку к экзамену по статистике?» Их ответы записаны ниже (в часах): 8, 6, 3, 0, 0, 5, 9, 2, 1, 3, 7, 10, 0, 3, 6. Стаж работы 75 служащих универмага:

58 Иванов О.В., Соколихин А.А Задачи ПРИМЕР. Средняя цена зданий, расположенных в некотором районе, равна $50000, а стандартное отклонение - $ Найдите ценовой диапазон, в котором окажется, по крайней мере, 75% зданий. Решение. В теореме Чебышева говорится, что 3/4 или 75% всех данных попадают в предел двух стандартных отклонений от среднего. Следовательно, $ · ($10000) = $ $20000 = $70000 и $50000 – 2 · ($10000) = $ $20000 = $30000 Следовательно, по крайней мере, 75% всех домов будет иметь ценовой диапазон от $30000 до $70000.

59 Иванов О.В., Соколихин А.А Задачи Используя теорему Чебышева, решите следующие задачи для распределения со средним 80 и стандартным отклонением 10: а. Какой процент данных попадет в интервал от 60 до 100? б. Какой процент данных попадет в интервал с 65 и до 95? Заработная плата простых служащих, работающих в ресторанах большого города, составляет в среднем $5,02 в час со стандартным отклонением $0,09. Используя теорему Чебышева, найдите диапазон, в котором расположено, по крайней мере, 75% данных.

60 Иванов О.В., Соколихин А.А Задачи Средний бал на экзамене по английскому языку равен 85, со стандартным отклонением 5, а средний балл по истории - 110, со стандартным отклонением – 8. По какому предмету оценки более изменчивы? Средний возраст бухгалтеров в корпорации «Три Реки» - 26 со стандартным отклонением 6, а среднее жалованье составляет $31000 со стандартным отклонением $4000. Сравните вариацию возраста и дохода.

61 Иванов О.В., Соколихин А.А Задачи Следующее распределение показывает вес 18-летних парней. Построив график, найдите приблизительные значения веса, соответствующие следующим процентилям: 9, 45, 75, 20, 60. Вес (фунты)Частота 120,5-131, ,5-142, ,5-153, ,5-164, ,5-175, ,5-186, ,5-197,5 17