Как мы измеряли эффективность обучения или наши 38 попугаев

Я попросила поделиться опытом поиска подхода к оценке эффективности Марину Литвинову, заместителя руководителя ПриватУниверситета, Координатора СДО, ПриватБанк. 

Всеми любимый советский мультфильм про 38 попугаев как нельзя лучше подходит под нашу историю.

Итак, появилась у нас мысль и мы стали ее думать: «Как измерить эффективность обучения»?

Для начала немного про СДО в нашем банке.

Система обучения существует уже 10 лет, активно функционирует, наполняется и обновляется.   600 курсов, более 800 тестов, книги и вебинары – вот ее наполнение. Плюс система обучающих рассылок по почте. 170 авторов курсов, более 40 000 постоянных слушателей и в три раза больше слушателей в целом.

Уже три года для каждой должности сформирована (и ежегодно обновляется) программа обучения, состоящая из курсов, книг и потенциально тренингов, вебинаров, перечня сайтов и доп. ресурсов. Сотрудники постепенно сдают тесты из своей программы в течение года и выполняют норматив обучения, который отображается в кадровых документах. За первое полугодие 2011 года количество обращений пользователей к системе превысило полмиллиона.

Вроде бы все здорово. Но есть одно «но». Заключается оно в том, что мы не знаем насколько «длинный удав», точнее насколько хороша и эффективна наша система. Мы стали строить предположение и рождать идеи того, чем же измерить систему.

Для начала мы решили сделать рейтинование курсов, тестов и их авторов, т.к. подумали, что это повысит качество учебных материалов и ответственность сотрудников по отношению к своему авторству. Взяли за основу закон нормального распределения (10-20-40-20-10) и определили несколько параметров, по которым мы будем строить рейтинги:

     - средний набранный балл по тесту

     - среднее время, затраченное на сдачу теста и на 1 вопрос

     - количество попыток сдачи теста за определенный период

     - соотношение удачных и неудачных попыток сдачи теста

     - количество заказов теста (для тестов, которые не входят в обязательные программы)

Решили проводить такое рейтингование один раз в год (для всех курсов и тестов, которые находятся в системе не менее полугода).  По результатам 10% худших идут автору на доработку, 10% лучших курсов (и, конечно, авторов) поощряются.

Процесс на стадии согласования.

На данный момент в этот рейтинг не включен такой важный параметр, как оценка курсов и тестов пользователями после обучения. Данная оценка существует отдельно и пока не дает нам  ощутимой пользы. В основном, сотрудники ставят высокие оценки качеству, среди которых % низких небольшой и не сильно влияет на общую оценку. Много действительно важных моментов оценки «прячутся» в комментариях, которые представлены как дополнение к основным параметрам. Оценка требует тщательного анализа и доработки для включения ее в рейтинг.

Но, это только качество учебных материалов. Только часть системы. Как и удава, систему «нельзя мерить частями, потому  что она целая».

Мы зашли с другой стороны и посмотрели, как можно привязать эффективность работы сотрудника к выполнению ими норматива обучения, т.е. дисциплинированного прохождения тестов из своей программы. Т.к. не у всех сотрудников есть свои рейтинги эффективности, мы начали с тех, кто их имеет. Проанализировав четыре группы таких профессий, пришли к выводу, что:

     - в двух группах явно прослеживалась корреляция: чем выше группа по эффективности, тем лучше дисциплина обучения среди сотрудников (выше процент выполнения норматива)

     - в других двух группах корреляции не было (процент выполнения норматива не находился в какой-либо зависимости от группы эффективности).

    

О чем это могло говорить? Да о целой уйме факторов, которые были больше похожи на вопросы:

     - правильно ли сформирована программа проф. обучения;

     - правильно ли учат курсы (отвечают ли они цели обучения и вообще, сформулирована ли в них цель);

     - правильно ли проверяют знания тесты;

     - самостоятельно ли сотрудники сдаются тесты;

     - может ли корреляция в первых двух группах быть стечением обстоятельств

(кстати, важный фактор – первые две группы относятся к одному бизнесу, вторые две – к двум другим, различным бизнесам);

     - может ли эффективность работы в большей степени зависеть от других факторов, а не от обучения.

Так как в первых двух группах корреляция все же была, и она говорила о четкой взаимосвязи обучения и эффективности, мы решили искать проблемы в двух других группах. Кроме того, первые две группы относились к одному бизнесу, в котором тщательно подходят и к созданию курсов, и к формированию программ обучения, и к проверке выполнения норматива.

На первом этапе мы решили:

1. Улучшить качество курсов, которые входят в программы обучения, и ввести правило для всех новых курсов: четко сформулированная цель обучения и критерии успешного прохождения курса.

2.  Проанализировать курсы, входящие в программы обучения сотрудников, в группах которых была обнаружена корреляция, и сравнить их с другими группами (есть ли цель, какие критерии успешного прохождения курса, какие знания проверяет тест).

3.  Провести контрольное тестирование среди сотрудников двух последних групп, которые набрали максимальные проходные баллы при минимальных затратах времени (определить, самостоятельно ли они сдавали тесты)

Далее – сложнее. Сейчас мы стоим перед вопросом, как же проследить применение полученных знаний на практике?

   

Мы (корпоративный университет), образно, находимся на берегу реки: даем лодку и весла (знания и навыки) и пускаем в плавание (в реальную практику). Дальше сотрудник плывет или сам, или с поддержкой наставника или с помощью руководителя. По-разному. НО уже без нас.

Мы остались на берегу давать лодки и весла другим.

Как они плывут? Туда ли плывут? Хорошо ли научились держать весла?

Как это понять? Только с помощью бизнеса, в котором работает сотрудник, можно оценить эффективность его работы и влияние обучения на его работу, и понять, нужно ли дополнительное обучения и с какой периодичностью.

В бизнесе есть потребность понять влияние обучения на эффективность работы и управлять эффективностью с помощью обучения. Но должен ли процесс измерения эффективности обучения частично быть в бизнесе, а частично в корпоративном университете?

Да, многие вопросы пока остаются открытыми, но, тем не менее, мы поставили их и этим сделали важный шаг в развитии системы обучения и в определении рычагов влияния обучения на показатели эффективности работы.

Ведь корпоративное обучение – это не ради диплома или будущей работы, не ради имиджа и не совсем ради удовольствия (хоть мне, как руководителю проекта, очень хочется параметр удовольствия подтянуть на максимум).

Зато – это обучение ради высоких показателей в работе, ради бонусов сотрудников и ради роста самой компании. Взаимовыгодно.

Надо только понять, кто и в чем должен мерить эффективность?

Главное, чтобы «удав» был счастлив (то есть система эффективна), не зависимо от того, в чем мы будем его мерить:  в «попугаях»,  «мартышках» или «слонёнках» :-)