Эффективность проекта электронного обучения Александр Печенкин Зам.главного редактора Журнала «e-Learning World» a.pechenkin@elw.ru. - презентация

1 Эффективность проекта электронного обучения Александр Печенкин Зам.главного редактора Журнала «e-Learning World»

2 Цели оценки затрат и эффекта необходимость знать когда, сколько и каких ресурсов нужно выделить на проекты обучения, что необходимо для планирования бюджета. следует объяснять и доказывать целесообразность расходов на обучение, оценка эффективности помогает разработчикам улучшать обучающие материалы. оценка эффективности помогает выбрать наилучший метод обучения.

3 Цели оценки затрат и эффекта - определение соответствия e-learning решения объекту обучения; - определение сильных и слабых сторон e-learning проекта; - определение коэффициента возврата на вложенные инвестиции (ROI); - определение состава участников для следующего e-learning проекта; - определение наиболее и наименее заинтересованных сторон в e-learning проекте; - сбор данных для выявления перспективных направлений развития.

4 Модель Киркпатрика Уровень 1. Реакция обучаемых -Удовлетворенность участника программой и ходом обучения (100%) Уровень 2. Уровень знаний - Полученные знания, навыки и поведение (60%) Уровень 3. Поведение на рабочем месте Изменения в поведении при выполнении работы (30%) Уровень 4. Влияние на бизнес Изменения параметров, влияющих на бизнес (10%) Уровень 5. Не Киркпатрик (Филлипс) (5%) Расчет ROI Сравнение выгоды от программы и расходов на ее проведение ROI(%)= (Доходы от программы – Затраты на программу)*100 Затраты на программу

5 Модель Филлипса Сбор данных Инструменты оценки Цели оценки Время оценки 5 уровней оценки (по Киркпатрику) Изолирование эффекта обучения Конвертация данных в денежную форму Расчет ROI Оценка затрат на обучение Определение неявной выгоды

6 Уровни оценки оценка компонента e-Learning курса, оценка целого e-Learning курса, оценка учебной программы (учебного плана), оценка HR проектов в масштабе всей компании, оценка e-Learning индустрии в какой-либо отрасли, или оценка на национальном (мировом) уровне.

7 Типы затрат затраты на оборудование (программная и аппаратная платформа); затраты на покупку готовых (off-the-shelf) курсов; затраты на разработку и актуализацию и внедрение учебных материалов; затраты на обучение; административные затраты.

8 Стоимость LMS на Западе Число обучаемых Лицензия на 1 год Лицензия на 3 года и сопровождение LMS интранет-системы 500$41442 ($83)$ $ ($22)$ $ ($17)$ LMS интернет-системы 500$45268 ($91)$ $ ($18)$ $ ($13)$878319

9 Стоимость LMS в России Название системы Стоимость лицензии Для вуза Для компании СДО «ДОЦЕНТ» (УНИАР)$6000-$12000 REDCLASSОт $3900 WebTutor (WebSoft)$4900$5900 e-Learning Server (Гипер Метод) $2990$5900 СДО «Прометей»$3900$8400

10 Затраты на покупку готовых (off-the-shelf) курсов Зависимость цены от: количества слушателей времени использования общего объема заказа

11 Затраты на разработку, актуализацию и внедрение учебных материалов Стоимость создания электронного курса. Зависимость затрат от: количества персонала, задействованного в разработке курса; ставки оплаты труда специалиста, задействованного в разработке; времени, затраченного данным специалистом при создании курса; оплаты услуг третьих фирм и консультантов; потерь связанные с отвлечением экспертов от их непосредственных проектов для участия в создании курса; затрат на необходимые ресурсы (платная подписка, книги и т.д.).

12 Затраты на разработку, актуализацию и внедрение учебных материалов Стоимость актуализации электронного курса. Стоимость локализации электронного курса. Стоимость процесса имплементации электронного курса в LMS компании.

13 Затраты на разработку, актуализацию и внедрение учебных материалов Содержание курса, способ представления информации Затраты времени на создание учебного фрагмента (1 час) От, часов До, часов Курсы на основе веб-технологии (дистанционные занятия с инструктором с использованием двухстороннего аудио обмена) 3080 Разработка учебного курса по описанию заказчика Только текст, интерактивность ограничена Текст и графические материалы Текст, графические материалы, анимация, умеренная интерактивность Полностью интерактивный текст, графика, анимация. Нет имитации Полностью интерактивная имитация виртуальной реальности, полная интерактивность Разработка учебного курса с использованием шаблона Только текст, интерактивность ограничена Текст и графические материалы Текст, графические материалы, анимация, умеренная интерактивность

14 Затраты на обучение. количество обучающего персонала по электронному курсу; количество обучаемого персонала по электронному курсу; ставка оплаты труда преподавателя; время, затраченное преподавателем на обучение по электронному курсу; оплата услуг приглашенных экспертов; потери, связанные с отвлечением слушателей от их непосредственных проектов при обучении по электронному курсу; затраты на необходимые ресурсы по электронному курсу (интернет-трафик, телефонные переговоры и т.д.). Административные затраты. Оплата труда менеджеров проекта (как правило, сотрудник HR- департамента) и стоимость используемых при управлении проекта ресурсов. Здесь же следует оценить все неявные затраты, связанные с ведением проекта электронного обучения в целом.

15 Традиционные затраты 1. Оплата труда HR-персонала, 2. Оплата труда остальных участников проекта обучения, 3. Оплачиваемое время слушателей программы обучения, 4. Расходы на питание, транспорт и размещение HR-персонала, 5. Расходы на питание, транспорт и размещение слушателей программы, 6. Офисные затраты и поставки (почта, телефон, размещение…), 7. Расходы на учебные материалы (учебники, книги, учебные фильмы), 8. Расходы на печать и ксерокопирование, 9. Внешние сервисы (аутсорсинг), 10. Расходы на оборудование (компьютеры, приборы и т.д.), 11. Расходы на аренду оборудования в месте проведения тренинга, 12. Расходы на поддержку оборудования, 13. Регистрационные взносы (в том числе и за членство в профессиональных ассоциациях и т.д.), 14. Расходы на размещение во время обучения на собственных площадях (содержание аудитории, конференц-зала и т.д.), 15. Расходы на размещение во время обучения на арендованных площадях (аренда аудитории, конференц-зала и т.д.), 16. Общие накладные расходы, относящиеся к проекту обучения, 17. Прочие расходы

16 Оценка затрат для слушателя оплата интернет-трафика; печать на бумагу электронных материалов; оплата интернет-кафе в случае отсутствия домашнего компьютера/Интернета; дополнительные инвестиции в аппаратную/программную платформу домашнего компьютера.

17 Оценка эффекта Сбор данных Изолирование эффекта обучения Конвертация в денежную форму

18 Сбор данных Уровень 0 - Участие в программе обучения Мониторинг параметров: - время, проведенное слушателем при изучении курса (суммарное время пользовательских сессий); - количество пользовательских сессий; - перечень элементов (страниц, тем) курса, просмотренных пользователем; - количество удовлетворительно/неудовлетворительно выполненных тестов и заданий. Источники данных: - служебная информация к курсу; - log-файлы и отчеты, генерируемые LMS-системой; - журнал преподавателя; - опросный лист преподавателя по студентам. В результате сбора должны быть получены следующие данные: - количество зарегистрировавшихся слушателей; - количество слушателей, завершивших учебный курс; - количество слушателей, не завершивших учебный курс; - процент завершения курса по каждому слушателю.

19 Сбор данных Уровень 1. Реакция слушателей на программу обучения 1. Отвечает ли курс ожиданиям слушателей? 2. Удовлетворены ли они интеллектуально и эмоционально процессом обучения? 3. Уверены ли слушатели в том, что изученный ими курс был полезен им лично? 4. Удовлетворены ли слушатели качеством, дизайном и стилем представления учебных материалов, приемлемы ли все учебные задания и материалы для слушателя? 5. Насколько сложным было изучение курса? Какие трудности возникали в процессе обучения (нехватка времени, отсутствие ПК, технические проблемы)? 6. Насколько слушатели были мотивированны для преодоления всех трудностей? Источники данных: - опрос слушателей во время и после изучения курса (как в виде заполнения специально подготовленных форм, голосований на сайте, так и в виде персональных интервью и совместных дискуссий в фокус-группе); - опрос тьютора об отношении слушателей к различным элементам обучения.

20 Сбор данных Уровень 2. Оценка знаний и опыта, полученных слушателем по программе обучения Инструменты оценки слушателей e-Learning курсов: - тестирование и экзамен; - симуляции рабочих процессов; - ролевые игры.

21 Сбор данных Уровень 3. Оценка поведения на рабочем месте Основным объектом оценки здесь является производительность труда сотрудника. 1. Насколько возросла производительность труда в результате тренинга? 2. Применяют ли слушатели полученные знания в нужное время и правильным образом? 3. Какие специальные знания, опыт и отношения перенесены на рабочее место? Результатом оценки будет являться также и ответ на вопросы: - Мотивированы ли слушатели улучшать собственную производительность? - Уверены ли они, что обучение связано с работой и применимо к ней? - Могут ли слушатели обозначить момент, с которого они начнут применять в работе полученные знания и навыки? Оценка поведения на рабочем месте должна производиться через некоторое время после обучения. HR-специалисты рекомендуют делать это в диапазоне от 30 до 180 дней.

22 Сбор данных Методы оценки: наблюдения за поведением сотрудника на рабочем месте; сбор мнений сотрудников, задействованных в рабочем процессе (другие специалисты, напарники, непосредственные руководители, сами обучаемые); записи бизнес-процессов, в том числе: записи о продажах (объем продаж, новые клиенты, жалобы клиентов, новые запросы, повторные заказы); записи о качестве (количество дефектов, возвращенные товары, количество жалоб, требования ремонта); записи о сервисе (количество обслуженных клиентов, время ожидания клиента, удовлетворенность клиента, количество клиентских жалоб); записи о надежности, безопасности (количество инцидентов, промежуток времени между инцидентами); записи о производительности (соблюденные и нарушенные сроки, простои, выпуск на сотрудника или оборудование); записи о сотруднике (удовлетворенность сотрудника, текучесть кадров, отсутствие на рабочем месте, незанятые вакансии, жалобы сотрудников, судебные иски).

23 Сбор данных Уровень 4. Оценка влияния программы обучения на бизнес компании 1. Насколько обучение привязано к бизнес-цели компании? 2. Продвинуло ли обучение компанию на пути к достижению организационной и бизнес-цели? 3. Насколько существующие бизнес-процессы (их качество, эффективность, продуктивность) улучшились в результате обучения? 4. Как различные коэффициенты, такие как ROI e-Learning проекта, соотносятся с аналогичными показателями от других проектов, проводимых организацией? Время оценки не ранее 6-12 месяцев с момента окончания обучения. Источники информации для оценки: - показатели прибыли в динамике (доход, выручка, размер прибыли); - финансовая устойчивость (цена акции, финансовые резервы, доля рынка, уровни запасов); - интеллектуальный капитал (уровень образования персонала и т.д.); - репутация (награды, рейтинги и т.д.).

24 Сбор данных Анкеты (опросные листы) Открытые вопросы, предполагающие ответ опрашиваемого в вольной форме. Пример вопроса для 1 уровня: - Какие темы прослушанного курса вы считаете наиболее полезными для вашей повседневной работы? Чеклисты (checklist), предполагающие выбор одного или нескольких вариантов из предложенного. Пример вопроса для 3-го уровня: - Обучение вашего подчиненного по курсу «Эффективный поиск в сети Интернет» стало причиной: [ ] – сокращения среднего времени обработки одного запроса [ ] – улучшения качества обработки запроса [ ] – уменьшения количества необработанных запросов [ ] - не привело к каким-либо видимым для Вас изменениям).

25 Сбор данных Согласие/несогласие с утверждением. Пример вопроса для 1 уровня: Считаете ли вы целесообразным включение данного курса в вашу программу обучения? Да/ Нет. Выбор одного из вариантов, наиболее корректных, с точки зрения отвечающего. Пример вопроса для 4 уровня: Через 3 месяца после тренинга «Эффективные продажи» ежедневный сбыт холодильников увеличился: а) не увеличился ; б) увеличился на 1-5 шт; в) увеличился на 6-10 шт; г) увеличился на шт.; д) увеличился более чем на 15 шт. Ранжирование по заданной шкале. Пример вопроса для 1 уровня: Оцените по 5-бальной шкале компетентность вашего тьютора ( ).

26 Сбор данных При разработке опросного листа необходимо выполнить следующие этапы: 1. Определение информации, которая должна быть собрана. 2. Определение типа вопроса. 3. Разработка вопроса. 4. Апробация вопроса на различных группах. 5. Разработка способа обработки и суммирования собранной информации 6. Разработка инструкций для прохождения теста.

27 Сбор данных Тестирование Оценка обучения с применением симуляций Данный метод предполагает создание и выполнение заданий, максимально приближенных к рабочим ситуациям. Интервью Метод, предполагающий беседу между сотрудником HR- департамента, производящим сбор данных для оценивания программы, и слушателем или другим лицом, владеющим необходимой информацией. Интервью может происходить как в структурированной форме (по разработанным заранее вопросам и шаблонам), так и неструктурированно, где существует возможность получить дополнительную информацию, незапланированную в начале.

28 Сбор данных Наблюдение за слушателями на рабочем месте факторы успеха применения данного метода: процесс наблюдения должен быть подготовлен, т.е. наблюдатель должен знать, какую информацию он собирает, какие знания и навыки покрывались изучаемым курсом; процесс наблюдения должен иметь системный характер, должен быть составлен план с указанием участников, времени, периодичности; наблюдатель должен понимать, как интерпретировать полученные данные; влияние наблюдателя на наблюдаемого должно быть минимальным; наблюдатель не должен быть заинтересован в искажении данных. Мониторинг производительности

29 Изолирование эффекта обучения использование контрольных групп, анализ трендов, методы прогнозирования, методы экспертной оценки.

30 Конвертация данных в денежную форму Прямые выгоды: сокращения прямых затрат увеличение производительности персонала( созданная, проверенная, собранная единица продукции; количество проданного товара, количество заполненных и обработанных форм; количество обслуженных клиентов; снижение невыполненных заказов; увеличение отгрузки, доставки ) сокращение временных издержек, (время, требуемое на производство единицы произведенной продукции, услуги; нерабочее время, используемое для встреч, поездок, обучения; время, связанное с общим управлением проекта и т.д) улучшение качественной составляющей (уменьшение дефектов и ошибок, снижение простоев, снижение числа переделок, доработок, ремонта; снижение числа несчастных случаев, аварий.

31 Конвертация данных в денежную форму Группа косвенных выгод улучшение производственной составляющей снижение времени на получение информации при возникновении сбоев; уменьшение абсентеизма; снижение числа нарушений техники безопасности. повышение креативности персонала и внедрение инноваций (числом патентов, проводимых исследований, внедрением новых подходов и технологий, новыми моделями бизнеса). улучшение рабочей среды, оцениваемое в параметрах ротации кадров, жалоб сотрудников, проявлении недовольства. возможности для развития карьеры, когда рост знаний и опыта персонала способствует увеличению ответственности и компетенций.

32 Конвертация данных в денежную форму Неявные выгоды (fuzzy benefits) эмоциональная составляющая в работе персонала удовлетворение от работы, повышением энтузиазма, увеличением лояльности к компании и ее руководству. рост инициативности и лидерских качеств, увеличение базовых бизнес-навыков, таких как способность слушать, принимать решения, разрешать конфликты, обосновывать точку зрения, работать в команде, понимать бизнес-процессы.

33 Конвертация данных в денежную форму 1. Определение единицы измерения выгоды. В качестве такой единицы может выступать продукт, услуга, ошибка, дефект и пр., приведенные в вышеописанной классификации выгоды. 2. Определение значения каждой единицы (например, стоимость продукта, время оказания услуги, убыток от среднестатистической ошибки). 3. Оценка разницы в выгоде, полученной в результате обучения 4. Определение месячной (годовой) выгоды. 5. Расчет совокупного значения выгоды.