Эффективность проекта электронного обучения Александр Печенкин Зам.главного редактора Журнала «e-Learning World»

Цели оценки затрат и эффекта необходимость знать когда, сколько и каких ресурсов нужно выделить на проекты обучения, что необходимо для планирования бюджета. следует объяснять и доказывать целесообразность расходов на обучение, оценка эффективности помогает разработчикам улучшать обучающие материалы. оценка эффективности помогает выбрать наилучший метод обучения.

Цели оценки затрат и эффекта - определение соответствия e-learning решения объекту обучения; - определение сильных и слабых сторон e-learning проекта; - определение коэффициента возврата на вложенные инвестиции (ROI); - определение состава участников для следующего e-learning проекта; - определение наиболее и наименее заинтересованных сторон в e-learning проекте; - сбор данных для выявления перспективных направлений развития.

Модель Киркпатрика Уровень 1. Реакция обучаемых -Удовлетворенность участника программой и ходом обучения (100%) Уровень 2. Уровень знаний - Полученные знания, навыки и поведение (60%) Уровень 3. Поведение на рабочем месте Изменения в поведении при выполнении работы (30%) Уровень 4. Влияние на бизнес Изменения параметров, влияющих на бизнес (10%) Уровень 5. Не Киркпатрик (Филлипс) (5%) Расчет ROI Сравнение выгоды от программы и расходов на ее проведение ROI(%)= (Доходы от программы – Затраты на программу)*100 Затраты на программу

Модель Филлипса Сбор данных Инструменты оценки Цели оценки Время оценки 5 уровней оценки (по Киркпатрику) Изолирование эффекта обучения Конвертация данных в денежную форму Расчет ROI Оценка затрат на обучение Определение неявной выгоды

Уровни оценки оценка компонента e-Learning курса, оценка целого e-Learning курса, оценка учебной программы (учебного плана), оценка HR проектов в масштабе всей компании, оценка e-Learning индустрии в какой-либо отрасли, или оценка на национальном (мировом) уровне.

Типы затрат затраты на оборудование (программная и аппаратная платформа); затраты на покупку готовых (off-the-shelf) курсов; затраты на разработку и актуализацию и внедрение учебных материалов; затраты на обучение; административные затраты.

Стоимость LMS на Западе Число обучаемых Лицензия на 1 год Лицензия на 3 года и сопровождение LMS интранет-системы 500$41442 ($83)$ $ ($22)$ $ ($17)$ LMS интернет-системы 500$45268 ($91)$ $ ($18)$ $ ($13)$878319

Стоимость LMS в России Название системы Стоимость лицензии Для вуза Для компании СДО «ДОЦЕНТ» (УНИАР)$6000-$12000 REDCLASSОт $3900 WebTutor (WebSoft)$4900$5900 e-Learning Server (Гипер Метод) $2990$5900 СДО «Прометей»$3900$8400

Затраты на покупку готовых (off-the-shelf) курсов Зависимость цены от: количества слушателей времени использования общего объема заказа

Затраты на разработку, актуализацию и внедрение учебных материалов Стоимость создания электронного курса. Зависимость затрат от: количества персонала, задействованного в разработке курса; ставки оплаты труда специалиста, задействованного в разработке; времени, затраченного данным специалистом при создании курса; оплаты услуг третьих фирм и консультантов; потерь связанные с отвлечением экспертов от их непосредственных проектов для участия в создании курса; затрат на необходимые ресурсы (платная подписка, книги и т.д.).

Затраты на разработку, актуализацию и внедрение учебных материалов Стоимость актуализации электронного курса. Стоимость локализации электронного курса. Стоимость процесса имплементации электронного курса в LMS компании.

Затраты на разработку, актуализацию и внедрение учебных материалов Содержание курса, способ представления информации Затраты времени на создание учебного фрагмента (1 час) От, часов До, часов Курсы на основе веб-технологии (дистанционные занятия с инструктором с использованием двухстороннего аудио обмена) 3080 Разработка учебного курса по описанию заказчика Только текст, интерактивность ограничена Текст и графические материалы Текст, графические материалы, анимация, умеренная интерактивность Полностью интерактивный текст, графика, анимация. Нет имитации Полностью интерактивная имитация виртуальной реальности, полная интерактивность Разработка учебного курса с использованием шаблона Только текст, интерактивность ограничена Текст и графические материалы Текст, графические материалы, анимация, умеренная интерактивность

Затраты на обучение. количество обучающего персонала по электронному курсу; количество обучаемого персонала по электронному курсу; ставка оплаты труда преподавателя; время, затраченное преподавателем на обучение по электронному курсу; оплата услуг приглашенных экспертов; потери, связанные с отвлечением слушателей от их непосредственных проектов при обучении по электронному курсу; затраты на необходимые ресурсы по электронному курсу (интернет-трафик, телефонные переговоры и т.д.). Административные затраты. Оплата труда менеджеров проекта (как правило, сотрудник HR- департамента) и стоимость используемых при управлении проекта ресурсов. Здесь же следует оценить все неявные затраты, связанные с ведением проекта электронного обучения в целом.

Традиционные затраты 1. Оплата труда HR-персонала, 2. Оплата труда остальных участников проекта обучения, 3. Оплачиваемое время слушателей программы обучения, 4. Расходы на питание, транспорт и размещение HR-персонала, 5. Расходы на питание, транспорт и размещение слушателей программы, 6. Офисные затраты и поставки (почта, телефон, размещение…), 7. Расходы на учебные материалы (учебники, книги, учебные фильмы), 8. Расходы на печать и ксерокопирование, 9. Внешние сервисы (аутсорсинг), 10. Расходы на оборудование (компьютеры, приборы и т.д.), 11. Расходы на аренду оборудования в месте проведения тренинга, 12. Расходы на поддержку оборудования, 13. Регистрационные взносы (в том числе и за членство в профессиональных ассоциациях и т.д.), 14. Расходы на размещение во время обучения на собственных площадях (содержание аудитории, конференц-зала и т.д.), 15. Расходы на размещение во время обучения на арендованных площадях (аренда аудитории, конференц-зала и т.д.), 16. Общие накладные расходы, относящиеся к проекту обучения, 17. Прочие расходы

Оценка затрат для слушателя оплата интернет-трафика; печать на бумагу электронных материалов; оплата интернет-кафе в случае отсутствия домашнего компьютера/Интернета; дополнительные инвестиции в аппаратную/программную платформу домашнего компьютера.

Оценка эффекта Сбор данных Изолирование эффекта обучения Конвертация в денежную форму

Сбор данных Уровень 0 - Участие в программе обучения Мониторинг параметров: - время, проведенное слушателем при изучении курса (суммарное время пользовательских сессий); - количество пользовательских сессий; - перечень элементов (страниц, тем) курса, просмотренных пользователем; - количество удовлетворительно/неудовлетворительно выполненных тестов и заданий. Источники данных: - служебная информация к курсу; - log-файлы и отчеты, генерируемые LMS-системой; - журнал преподавателя; - опросный лист преподавателя по студентам. В результате сбора должны быть получены следующие данные: - количество зарегистрировавшихся слушателей; - количество слушателей, завершивших учебный курс; - количество слушателей, не завершивших учебный курс; - процент завершения курса по каждому слушателю.

Сбор данных Уровень 1. Реакция слушателей на программу обучения 1. Отвечает ли курс ожиданиям слушателей? 2. Удовлетворены ли они интеллектуально и эмоционально процессом обучения? 3. Уверены ли слушатели в том, что изученный ими курс был полезен им лично? 4. Удовлетворены ли слушатели качеством, дизайном и стилем представления учебных материалов, приемлемы ли все учебные задания и материалы для слушателя? 5. Насколько сложным было изучение курса? Какие трудности возникали в процессе обучения (нехватка времени, отсутствие ПК, технические проблемы)? 6. Насколько слушатели были мотивированны для преодоления всех трудностей? Источники данных: - опрос слушателей во время и после изучения курса (как в виде заполнения специально подготовленных форм, голосований на сайте, так и в виде персональных интервью и совместных дискуссий в фокус-группе); - опрос тьютора об отношении слушателей к различным элементам обучения.

Сбор данных Уровень 2. Оценка знаний и опыта, полученных слушателем по программе обучения Инструменты оценки слушателей e-Learning курсов: - тестирование и экзамен; - симуляции рабочих процессов; - ролевые игры.

Сбор данных Уровень 3. Оценка поведения на рабочем месте Основным объектом оценки здесь является производительность труда сотрудника. 1. Насколько возросла производительность труда в результате тренинга? 2. Применяют ли слушатели полученные знания в нужное время и правильным образом? 3. Какие специальные знания, опыт и отношения перенесены на рабочее место? Результатом оценки будет являться также и ответ на вопросы: - Мотивированы ли слушатели улучшать собственную производительность? - Уверены ли они, что обучение связано с работой и применимо к ней? - Могут ли слушатели обозначить момент, с которого они начнут применять в работе полученные знания и навыки? Оценка поведения на рабочем месте должна производиться через некоторое время после обучения. HR-специалисты рекомендуют делать это в диапазоне от 30 до 180 дней.

Сбор данных Методы оценки: наблюдения за поведением сотрудника на рабочем месте; сбор мнений сотрудников, задействованных в рабочем процессе (другие специалисты, напарники, непосредственные руководители, сами обучаемые); записи бизнес-процессов, в том числе: записи о продажах (объем продаж, новые клиенты, жалобы клиентов, новые запросы, повторные заказы); записи о качестве (количество дефектов, возвращенные товары, количество жалоб, требования ремонта); записи о сервисе (количество обслуженных клиентов, время ожидания клиента, удовлетворенность клиента, количество клиентских жалоб); записи о надежности, безопасности (количество инцидентов, промежуток времени между инцидентами); записи о производительности (соблюденные и нарушенные сроки, простои, выпуск на сотрудника или оборудование); записи о сотруднике (удовлетворенность сотрудника, текучесть кадров, отсутствие на рабочем месте, незанятые вакансии, жалобы сотрудников, судебные иски).

Сбор данных Уровень 4. Оценка влияния программы обучения на бизнес компании 1. Насколько обучение привязано к бизнес-цели компании? 2. Продвинуло ли обучение компанию на пути к достижению организационной и бизнес-цели? 3. Насколько существующие бизнес-процессы (их качество, эффективность, продуктивность) улучшились в результате обучения? 4. Как различные коэффициенты, такие как ROI e-Learning проекта, соотносятся с аналогичными показателями от других проектов, проводимых организацией? Время оценки не ранее 6-12 месяцев с момента окончания обучения. Источники информации для оценки: - показатели прибыли в динамике (доход, выручка, размер прибыли); - финансовая устойчивость (цена акции, финансовые резервы, доля рынка, уровни запасов); - интеллектуальный капитал (уровень образования персонала и т.д.); - репутация (награды, рейтинги и т.д.).

Сбор данных Анкеты (опросные листы) Открытые вопросы, предполагающие ответ опрашиваемого в вольной форме. Пример вопроса для 1 уровня: - Какие темы прослушанного курса вы считаете наиболее полезными для вашей повседневной работы? Чеклисты (checklist), предполагающие выбор одного или нескольких вариантов из предложенного. Пример вопроса для 3-го уровня: - Обучение вашего подчиненного по курсу «Эффективный поиск в сети Интернет» стало причиной: [ ] – сокращения среднего времени обработки одного запроса [ ] – улучшения качества обработки запроса [ ] – уменьшения количества необработанных запросов [ ] - не привело к каким-либо видимым для Вас изменениям).

Сбор данных Согласие/несогласие с утверждением. Пример вопроса для 1 уровня: Считаете ли вы целесообразным включение данного курса в вашу программу обучения? Да/ Нет. Выбор одного из вариантов, наиболее корректных, с точки зрения отвечающего. Пример вопроса для 4 уровня: Через 3 месяца после тренинга «Эффективные продажи» ежедневный сбыт холодильников увеличился: а) не увеличился ; б) увеличился на 1-5 шт; в) увеличился на 6-10 шт; г) увеличился на шт.; д) увеличился более чем на 15 шт. Ранжирование по заданной шкале. Пример вопроса для 1 уровня: Оцените по 5-бальной шкале компетентность вашего тьютора ( ).

Сбор данных При разработке опросного листа необходимо выполнить следующие этапы: 1. Определение информации, которая должна быть собрана. 2. Определение типа вопроса. 3. Разработка вопроса. 4. Апробация вопроса на различных группах. 5. Разработка способа обработки и суммирования собранной информации 6. Разработка инструкций для прохождения теста.

Сбор данных Тестирование Оценка обучения с применением симуляций Данный метод предполагает создание и выполнение заданий, максимально приближенных к рабочим ситуациям. Интервью Метод, предполагающий беседу между сотрудником HR- департамента, производящим сбор данных для оценивания программы, и слушателем или другим лицом, владеющим необходимой информацией. Интервью может происходить как в структурированной форме (по разработанным заранее вопросам и шаблонам), так и неструктурированно, где существует возможность получить дополнительную информацию, незапланированную в начале.

Сбор данных Наблюдение за слушателями на рабочем месте факторы успеха применения данного метода: процесс наблюдения должен быть подготовлен, т.е. наблюдатель должен знать, какую информацию он собирает, какие знания и навыки покрывались изучаемым курсом; процесс наблюдения должен иметь системный характер, должен быть составлен план с указанием участников, времени, периодичности; наблюдатель должен понимать, как интерпретировать полученные данные; влияние наблюдателя на наблюдаемого должно быть минимальным; наблюдатель не должен быть заинтересован в искажении данных. Мониторинг производительности

Изолирование эффекта обучения использование контрольных групп, анализ трендов, методы прогнозирования, методы экспертной оценки.

Конвертация данных в денежную форму Прямые выгоды: сокращения прямых затрат увеличение производительности персонала( созданная, проверенная, собранная единица продукции; количество проданного товара, количество заполненных и обработанных форм; количество обслуженных клиентов; снижение невыполненных заказов; увеличение отгрузки, доставки ) сокращение временных издержек, (время, требуемое на производство единицы произведенной продукции, услуги; нерабочее время, используемое для встреч, поездок, обучения; время, связанное с общим управлением проекта и т.д) улучшение качественной составляющей (уменьшение дефектов и ошибок, снижение простоев, снижение числа переделок, доработок, ремонта; снижение числа несчастных случаев, аварий.

Конвертация данных в денежную форму Группа косвенных выгод улучшение производственной составляющей снижение времени на получение информации при возникновении сбоев; уменьшение абсентеизма; снижение числа нарушений техники безопасности. повышение креативности персонала и внедрение инноваций (числом патентов, проводимых исследований, внедрением новых подходов и технологий, новыми моделями бизнеса). улучшение рабочей среды, оцениваемое в параметрах ротации кадров, жалоб сотрудников, проявлении недовольства. возможности для развития карьеры, когда рост знаний и опыта персонала способствует увеличению ответственности и компетенций.

Конвертация данных в денежную форму Неявные выгоды (fuzzy benefits) эмоциональная составляющая в работе персонала удовлетворение от работы, повышением энтузиазма, увеличением лояльности к компании и ее руководству. рост инициативности и лидерских качеств, увеличение базовых бизнес-навыков, таких как способность слушать, принимать решения, разрешать конфликты, обосновывать точку зрения, работать в команде, понимать бизнес-процессы.

Конвертация данных в денежную форму 1. Определение единицы измерения выгоды. В качестве такой единицы может выступать продукт, услуга, ошибка, дефект и пр., приведенные в вышеописанной классификации выгоды. 2. Определение значения каждой единицы (например, стоимость продукта, время оказания услуги, убыток от среднестатистической ошибки). 3. Оценка разницы в выгоде, полученной в результате обучения 4. Определение месячной (годовой) выгоды. 5. Расчет совокупного значения выгоды.