Модель оценки эффективности обучения Д. Киркпатрика

То, что произошло с американцем Дональдом Кирпатриком, бывает довольно редко. Полвека назад он предложил концептуальный подход к оценке тренинговых программ, который стал классическим. Любой специалист по оценке сегодня просто обязан знать четыре уровня оценки "по Киркпатрику".

Интересно, что вокруг предложенного Киркпатриком подхода не умолкают споры, однако его модель оценки тренингов остается одной из базовых, а его книги – наиболее цитируемыми. Классик и ныне здравствует, хотя уже отошел от активного бизнеса. Он сделал блестящую карьеру; написал несколько книг, ставших бестселлерами и принесших ему мировую известность; был президентом одного из самых авторитетных профессиональных объединений тренеров и консультантов в мире – American Research and Development Society (ARSD). Сегодня Дональд Киркпатрик продолжает заниматься общественной работой и поддерживает контакты с профессиональным сообществом. Он продолжает публиковать статьи и выступать с лекциями и семинарами на крупнейших форумах.

Итак, что же предложил Киркпатрик?..

Киркпатрик рассматривает оценку как неотъемлемую часть цикла проведения обучения, который включает 10 этапов :

Определение потребностей.
Постановка целей.
Определение предметного содержания.
Выбор участников обучения.
Формирование оптимального расписания.
Подбор соответствующего помещения.
Подбор соответствующих преподавателей.
Подготовка аудиовизуальных средств.
Координация программы.
Оценка программы.

Оправдать существование отдела обучения, показав, какой вклад делает этот от-дел в достижение целей и задач организации.
Принять решение о том, продолжать или прекратить тренинговую программу.
-Получить информацию о том, как улучшить тренинговую программу в будущем.

Сам Киркпатрик считает, что в большинстве случаев оценка проводится для того, чтобы понять, как повысить эффективность тренинга, какими способами можно его улучшить . В связи с этим предлагается ответить на следующие 8 вопросов:

В какой мере содержание тренинга соответствует потребностям участников?
Является ли выбор преподавателя (Киркпатрик использует здесь слово "лидер", которое по-русски имеет совершенно другое значение) оптимальным?
Использует ли преподаватель наиболее эффективные методы для поддержания интереса участников, передачи им знаний, формирования у них навыков и установок?
Являются ли условия для проведения обучения удовлетворительными?
Устраивает ли участников расписание занятий?
Способствуют ли аудиовизуальные средства улучшению коммуникации и поддержанию интереса участников?
Была ли координация программы удовлетворительной?
Что еще может быть сделано для улучшения программы?

Отметим, что все вопросы кроме первого и последнего сформулированы автором как закрытые (предполагающие ответы "да" или "нет"). С точки зрения формулирования вопросов задания для проведения оценки такая форма вопросов хороша далеко не всегда. Однако мы придерживаемся авторского текста.

Киркпатрик считает, что в большинстве случаев оценка ограничивается использованием анкет по окончании тренинга – изучением непосредственной реакции слушателей на обучение. Он называет эти анкеты "листами для улыбки" (smile-sheets), имея в виду, что чаще всего участники используют анкеты для выражения благодарности. Более сложная и глубокая оценка не проводится, потому что

ее не считают срочной или важной,
никто не знает, как ее провести,
руководство не требует этого,
люди чувствуют себя в безопасности и не видят нужды "копать" глубже,
есть много вещей, которые для них более важны или которыми они предпочитают заниматься.

Четыре уровня Четыре уровня, по Кирктпатрику, определяют последовательность проведения оценки обучения (тренинга). Он пишет: "Каждый уровень важен и влияет на следующий за ним уровень. При переходе от уровня к уровню процесс оценки становится более трудным и требует больше времени, но при этом позволяет получить более ценную информацию. Ни один из уровней не может быть пропущен просто потому, чтобы сконцентрировать на том, что тренер считает наиболее важным" (надо заметить, что многие специалисты не согласны с этим утверждением Киркпатрика). Вот знаменитые четыре уровня по версии автора:

Уровень 1 – Реакция (Reaction)
Уровень 2 – Научение (Learning)
Уровень 3 – Поведение (Behavior)
Уровень 4 – Результаты (Results)

Реакция

Оценка на этом уровне определяет, как участники программы реагируют на нее. Сам Киркпатрик называет это оценкой удовлетворенности потребителей . В случае, когда обучение проводится внутри фирмы, реакция участников не всегда интерпретируется как удовлетворенность потребителей. Дел в том, что участие в таких тренингах бывает обязательным. У людей просто нет выбора. Руководство компании определяет необходимость данного тренинга и обязывает сотрудников принимать в нем участие. Казалось бы, в этом случае, нужно говорить о реакции руководства. Киркпатрик подчеркивает, что и в этом случае реакция участников является очень важным критерием успешности тренинга, как минимум, по двум причинам .

Во-первых, люди так или иначе делятся своими впечатлениями от тренинга со своим руководством, и эта информация уходит выше. Следовательно, она влияет на принятие решений о продолжении тренинга.
Во-вторых, если участники не будут реагировать позитивно, то у них не будет мотивации к научению. По мнению Киркпатрика, позитивная реакция не гарантирует успешного освоения новых знаний, умений и навыков. Отрицательная же реакция на тренинг почти наверняка означает уменьшение вероятности научения.

Научение

Научение определяется как изменение установок, улучшение знаний и совершенствование навыков участников в результате прохождения ими программы обучения. Киркпатрик утверждает, что изменение поведения участников в результате тренинга возможно только тогда, когда произойдет научение (изменятся установки, улучшатся знания или усовершенствуются навыки).

Поведение

На этом уровне происходит оценка того, в какой степени изменилось поведение участников в результате обучения. Киркпартик указывает на то, что отсутствие изменений в поведении участников не означает, что тренинг был неэффективен . Возможны ситуации, когда реакция на тренинг была позитивной, научение произошло, но поведение участников в дальнейшем не изменилось, поскольку для этого не были соблюдены необходимые условия. Поэтому отсутствие изменения поведения участников после тренинга не может быть поводом для принятия решения о прекращении программы. Киркпартик рекомендует в этих случаях кроме оценки реакции и научения проверить наличие следующих условий :

Желание участников изменить поведение.
Наличие у участников знаний о том, что и как делать.
Наличие соответствующего социально-психологического климата.
Поощрение участников за изменение поведения.

Говоря о социально-психологическом климате, Киркпатрик имеет в виду прежде всего непосредственных руководителей участников обучения. Он выделяет пять видов "климата": запрещающий, обескураживающий, нейтральный, поддерживающий, требующий. Позиция руководителя, соответственно, меняется от запрета на изменение поведения до требования изменить поведение после окончания тренинга. Киркпатрик считает, что единственный способ создания позитивного климата – вовлечение руководителей в разработку учебных программ .

Результаты

К результатам относятся изменения, которые произошли в связи с тем, что участники прошли обучение. В качестве примеров результатов Киркпатрик приводит увеличение производительности, улучшение качества, уменьшение количества несчастных случаев, увеличение продаж, снижение текучести кадров.

Киркпатрик настаивает на том, что результаты не следует измерять в деньгах . Он считает, что перечисленные выше изменения могут, в свою очередь, приводить к увеличению прибыли. Киркпатрик пишет: " Меня разбирает смех, когда я слышу, что профессиональные тренеры должны уметь показывать выгоду для клиента в терминах возврата на инвестиции в тренинг. То же самое я думаю о связи между тренинговыми программами и прибылью. Вы только представьте себе все факторы, которые влияют на прибыль! И можете добавить их к списку факторов, влияющих на возврат на инвестиции".

По мнению Киркпатрика, оценка на этом уровне – самая сложная и дорогостоящая. Вот несколько практических рекомендаций, которые могут помочь в оценке результатов:

если возможно, использовать контрольную группу (не проходившую обучение),
проводить оценку через некоторое время, чтобы результаты стали заметны,
проводить оценку до и после программы (если это возможно),
провести оценку несколько раз в ходе программы,
сопоставить ценность информации, которую удастся получить с помощью оценки и стоимость получения этой информации (автор считает, что проведение оценки на 4 уровне не всегда целесообразно в связи с ее высокой стоимостью).

Как построена книга Киркпатрика Kirkpatrick, D. L. (1998). Evaluating training programs: the four levels. San Francisco: Berrett-Koehler Publishers, Inc.

Книга разделена на две неравные части. Первая – описание 4-уровневой модели, теория (примерно 70 страниц). Вторая часть (около 200 страниц) – подробный разбор нескольких конкретных случаев (case studies) и примеры инструментов, используемых для проведения оценки на разных уровнях.

По материалам информационного бюллетеня компании «Процесс Консалтинг» (processconsulting.ru/bulletin1.pdf)

2 364

Разложили по полочкам, как использовать модель Киркпатрика для глубокой оценки эффективности онлайн-обучения. 15 инструментов с рекомендациями по применению.

Это продвинутый уровень оценки эффективности онлайн-курсов. Когда заказчики хотят точно понять, как корпоративное обучение повлияет на результаты работы, мы проводим исследование и используем 15 инструментов, основанных на модели Киркпатрика.

Коротко об этой модели. Дональд Киркпатрик выделил четыре уровня оценки эффективности: реакция, усвоение, поведение, результат. Рассказываем о каждом по порядку и сразу с примерами.

Эмоциональная реакция

Эмоциональный уровень оценивает, понравился курс или нет. Это не значит, что обучение, которое нравится - более эффективное, но когда человек расслаблен, мозг больше готов учиться, интереса и внимания тоже больше.

Здесь мы используем три инструмента.

Опрос «до-после» для оценки возврата ожиданий. Он показывает, насколько воплотились цели, которые участники ставили себе до начала обучения. Результаты помогают правильно формулировать цели курса и адаптировать материалы под потребности аудитории.

Например, люди идут на курс по продажам, чтобы научиться привлекать новых клиентов через реферальную систему. В курсе есть информация про это, но без практических советов: люди понимают теорию, а как это применить на практике - нет. Их ожидания от курса вернулись частично.

Оценка удовлетворенности - это общее впечатление от курса и отдельных его частей: материалов, иллюстраций, обратной связи. Результаты показывают, что создает положительное и негативное впечатление, и на основе этого можно усиливать или убирать отдельные части курса.

Например, в курсе по продажам людям понравились комиксы-иллюстрации с разбором конкретных ситуаций, а сопроводительный теоретический текст - нет. Это сигнал: убирать теорию или вынести её в отдельный блок для самых дотошных.

Контент-анализ отзывов - показывает разницу впечатлений слушателей которые завершили и не завершили курс. Для этого нужно задать вопросы в открытой форме и систематизировать ответы по категориям. Результаты покажут, как мотивировать людей проходить обучение до конца.

Например, большинство бросивших курс по продажам, говорят: информация непонятная, вопросы сложные, в целом скучно. Те, кто прошел курс, тоже отмечают непонятные материалы. Вывод - упрощать контент.

Усвоение знаний

Уровень знаний оценивает, какие знания, навыки и техники усвоили слушатели. Здесь тоже не всё просто: если человек не хочет применять новые техники или не понимает, как это сделать - обучение не будет эффективным. Чтобы желание и понимание появились, нужен «инсайт» - осознание через собственный опыт и анализ.

Здесь мы используем четыре инструмента.

Тест знаний «до-после» . Здесь всё просто: он показывает прогресс знаний по теме - или его отсутствие. Результаты могут показать, что материалы курса слишком простые, или слишком сложные, или поверхностные. С другой стороны, уровень слушателей может быть слишком высокий или низкий для этой темы. Может быть всё в порядке, и уровень знаний вырастет.

Если оценивать не весь курс, а отдельные темы, станет видно, какие знания он развивает больше. Например, в курсе о переговорах четыре темы: переговорные позиции, техники, переговорные навыки для управленческой работы и навыки в продажах. Тест показал, что знания по теме «переговорные позиции» выросли в три раза. Это можно сделать фишкой курса или подтянуть остальные темы.

Оценка прогресса по результатам тестов показывает, падает ли число ошибок по мере прохождения курса. В результате понятно, какие темы усваиваются лучше. Нельзя учесть все факторы, которые влияют на слушателя во время теста, и знать наверняка, что он не жульничает - поэтому к оценке относимся осторожно.

Например, финальный тест обычно сложнее промежуточных. Это нормально, что процент ошибок в нем выше. Если до этого ошибок с каждым тестом становилось меньше, то хороший показатель.

Связь повторного изучения материалов с результатами тестов - показывает, какие темы нужно прочитать два-три-четыре раза, чтобы результаты по ним улучшились. Решения: объяснить подробнее или изменить структуру, чтобы показать сложные вещи несколько раз с разных сторон.

Например, анализ показал, что слушатели изучают тему шесть раз, чтобы улучшить свои оценки почти вдвое. Это значит, что потенциал у нее огромный, но подача - слишком сложная. Приходится продираться.

Связь времени на изучение материалов с результатами . Это похоже на предыдущий инструмент, но здесь оцениваем, сколько времени тратят на один материал результативные и не результативные пользователи. В итоге можем определить оптимальное время для каждого и если нужно - изменить объем.

Например, результативный слушатель тратит на тему «переговорные навыки для управленческой работы» 6 минут, а не результативный - две. Можно предположить, что тему бросают, потому что она сложная, или изучают недостаточно внимательно. Тогда мы будем мотивировать пользователя работать с ней больше.

Поведенческие изменения

Самый важный показатель в оценке эффективности. Он оценивает, как люди используют новые знания на практике. Если этого не происходит - знания бесполезны, даже если человек их усвоил.

Здесь мы используем шесть инструментов.

Процент выполнения необязательных заданий . Показывает, насколько слушателю важно пройти курс полностью. Еще по итогу исследования видно, какие задания больше вовлекают, даже если делать их необязательно, а какие можно убрать из курса.

Например, половина слушателей начинает делать необязательное задание. Это хороший показатель: либо тема важная и может стать обязательной, либо сработали инструменты вовлечения.

Периодичность посещения у людей, которые завершили и не завершили курс . Это показывает, есть ли разница в стиле прохождения у разных категорий слушателей. Чтобы на это влиять, мы настраиваем отдельные уведомления для тех, кто пропадает надолго.

Например, к третьей неделе курса люди заходят меньше, а в последнюю активизируются и работают в четыре раза больше - как студенты перед сессией. Если настроить уведомления и мотивировать людей чаще заходить на второй-третьей неделе, обучение станет равномерным.

Среднее время на блок у людей, которые завершили и не завершили курс - показывает, что разные типы слушателей проходят курс в разном темпе. Это помогает адаптировать материалы под скорость, сделать процесс равномерным. Еще данные покажут, где мотивировать пользователей оставаться в системе дольше и наоборот - ускоряться.

Например, один блок курса занимает в два раза больше времени, чем остальные. Не осилив его до конца, слушатели уходят. Вывод: разбить материал на два блока - люди не будут воспринимать его как большой и сложный и смогут «съесть слона» по кусочкам.

Разделение слушателей на типы . Мы часто упоминаем типы слушателей, и это разделение - тоже инструмент оценки. Когда мы понимаем, сколько людей каждого типа проходят курс, можем адаптировать под них контент, дополнительно мотивировать и даже менять способ продвижения курса.

Например, в курсе много «заходящих» - это люди, которые читают материалы до самого конца, но не выполняют задания или выполняют абы как. Значит, им нужно доказать ценность заданий и мотивировать на высокие результаты.

Социальная активность людей, которые завершили и не завершили курс , показывает связь обучения с активностью в чатах, общением с другими слушателями, обменом опытом. Этот инструмент не влияет на качество курса, но может подсказать способы мотивации людей с помощью социальных заданий.

Если пользователи оставляют много отзывов о курсе, можно пообещать дополнительный балл за пост в социальной сети. Это одновременно мотивация и реклама курса.

Главное, чтобы награда не противоречили логике начисления баллов: если люди должны потрудиться в обучении, чтобы их заработать, награда за отзыв будет нелегитимной.

В 1959 г. Дональдом Киркпатриком была предложена модель оценки эффективности обучения, которая на сегодняшний день является классической. По мнению автора, данная оценка позволяет решить три основные задачи организации (рис. 2.1.6).

Рис. 2.1.6.

Данная модель строится на четырех уровнях оценки эффективности обучения персонала (рис. 2.1.7) :

1) реакции слушателей на программу обучения, которая проводится путем анкетирования или оценки листов реагирования;
2) знаний и опыта, полученных слушателем на программе обучения - определение степени усвоенности полученных знаний с помощью тестов, задач, симуляции;
3) поведения на рабочем месте - данный этап является одним из наиболее сложных в оценке, поскольку эффект от обучения может быть заметен не сразу. Однако проведение обследования работы сотрудников на рабочем месте, проверки планов действий, степени понимания целей и задач как всей организации, так и отдельного сотрудника, позволяет выявить успешность обучения;
4) влияния программы обучения на деятельность организации. Происходит путем определения ключевых факторов, которые выявляют эффективность обучения (повышение производительности, улучшение качества, уменьшение количества несчастных случаев, увеличение продаж, снижение текучести кадров). При этом важно знать точные данные этих показателей до обучения, т.е. к результатам относятся лишь те изменения, которые произошли после обучения сотрудников.

Рис. 2.1.7.

Несмотря на то, что Д. Киркпатрик был против финансового измерения эффективности обучения, в 1991 г. Джек Филипс предложил пятый уровень оценки, который определяет результаты четвертого уровня в денежном эквиваленте. Его модель - возврат на инвестиции - позволяет оценить разницу между полученной от программы обучения прибылью и затратами на обучение и определяется по формуле 1

Поскольку для многих работодателей решающим фактором в определении программ обучения сотрудников являются стоимостные показатели, то именно оценка ROI пользуется спросом ввиду возможности оценить образовательную программу как бизнес-инструмент, а также оправдать все затраты на обучение.

Как уже говорилось, современные работодатели рассматривают затраты на обучение персонала в качестве капиталовложений в будущий рост конкурентоспособности предприятия. Однако, чтобы затраты полностью оправдывали себя, необходимо качественно оценить показатели эффективности системы обучения. Кроме того, можно проанализировать внутренние и внешние факторы, способствующие использованию технологии оценки в организации, а также вероятные риски, сопряженные с проведением оценки эффективности обучения. При этом каждая группа рисков подвергается ощутимому влиянию со стороны организации-работодателя.

Например, снизить риски, связанные с несоответствием целей обучения запросам компании, позволит процедура их согласования с перспективами развития компании, окружающей средой, оценкой потребности в обучении на начальном этапе утверждения договора об обучении.

Снизить риски, связанные с низким качеством обучения, помогут оценка программ обучения специалистами отдела по работе с персоналом, оценка соответствия данных программ необходимым для выработки компетенциям, стандартам обучения (рис. 2.1.8). Проверке также могут подлежать специалисты, проводящие обучение, путем изучения их сертификатов, опыта работы в других компаниях, результатов деятельности.

Риски низкой мотивации сотрудников в обучении могут быть решены путем разработки качественной системы мотивации и стимулирования, определяющей зависимость между уровнем квалификации сотрудника и его карьерным ростом, а также материальным поощрением.

Виханский О.С. Стратегическое управление: учебник. 2-е изд., перераб. и доп. М.: Гардарики, 2003. 296 с.

Рис. 2.1.8.

Для уменьшения вероятности ухода специалиста из компании после прохождения обучения может быть заключен договор об обязательном сотрудничестве на определенный период. Кроме того, в рамках системы мотивации сотрудники, успешно прошедшие обучение, могут быть направлены для реализации или координации крупных проектов внутри компании, управления филиалами компании или другими структурными подразделениями 1 . Анализ возможных рисков при обучении персонала организации и способы их минимизации представлены на рис. 2.1.9.

Успешность осуществления обучения персонала в организации зависит не только от проведенной оценки эффективности обучения, но и от качества реализации каждого из этапов в определенной последовательности.

1. Подготовительный этап - определение стратегических целей организации в работе с персоналом, уровня готовности организации к инвестированию в собственное развитие, формирование ожидаемых результатов от обучения и методов их использования.
2. Определение потребности в обучении предполагает оценку информации о сотрудниках (стаж работы, рабочий опыт, базовое образование, принимал ли работник ранее участие в программах обучения или повышения квалификации); анализ данных о прове-

Лксенова О.Л. Проблемы и приоритетные направления при создании корпоративной системы обучения персонала организации. URL: http://www. treko.ru/show_article_1009

денных аттестациях; оценка существующих проблем в работе персонала, причиной которых служит отсутствие достаточных знаний и навыков; сбор заявок на обучение от руководителей подразделений, а также сбор предложений по обучению от сотрудников путем анкетирования; работа с кадровым резервом; планирование карьеры.

3. Обучение руководителей и сотрудников исходя из поставленных целей обучения, планируемых результатов в рамках стратегии развития компании.
4. Оценка эффективности обучения.
5. Анализ полученных результатов, корректировка учебных программ.

Рис. 2.1.9.

В условиях конкуренции на рынке труда стало очевидным, что проверка эффективности обучения лишь посредством субъективного оценивания изменения поведения сотрудника на рабочем месте не является достаточной и достоверной.

На наш взгляд, данная методика является несовершенной и поэтому требует доработки. Подходя к процессу обучения и его оценке как к формальной процедуре, работодатели забывают о том, что вкладывают в это немалые средства, хотя могли бы получать реальный положительный эффект от роста компетентности своих сотрудников.

Важным этапом в системе оценки должна стать оценка практических навыков (см. п. 4-5), а точнее - способность и возможность сотрудника применять полученные теоретические знания на практике. В организации должны быть созданы условия для реализации этих способностей, т.е. система обучения персонала должна строиться не по формальным признакам, а исходя из реальных потребностей развития тех или иных компетенций сотрудников, требуемых компании на данном этапе работы.

Методика оценки обучения персонала на основе интеграции оценки по модели Киркпатрика

На основе модели Киркпатрика представляем процедуру оценки эффективности обучения и разработанную нами методику оценки обучения.

Реализация процедуры оценки обучения включает в себя шесть основных этапов (рис. 2.1.10).

1. Оценка реакции слушателей или оценка удовлетворенности процессом обучения чаще всего проводится путем анализа листов реагирования или простого анкетирования, главными целями которого является определение уровня полезности тренинга, удовлетворенности от процесса обучения, работы тренера.
2. Оценка знаний и навыков подразумевает оценку степени достижения поставленных перед обучением целей. Главными инструментами на данном этапе выступают профессиональное тестирование, которое проводится и до обучения, а также экзамены в устной или письменной форме.
3. Оценка поведения на рабочем месте , является одним из наиболее сложных этапов, поскольку подразумевает оценку изменения поведения участников обучения на рабочем месте. Работа оценщика может заключаться в собеседовании в стиле коучинга, позволяющем определить понимание сотрудником своих трудовых целей и вклада в общее дело, а также в оценке общего социальнопсихологического климата коллектива.
4. Проверка владения полученных навыков путем обучения других сотрудников, проведение презентации для руководителей по вопросам учебной сессии, помощь в адаптации и обучении новых сотрудников, проведение презентаций с коллегами из других подразделений.
5. Поскольку владение знаниями не всегда сопряжено с возможностью их практического применения, то важным этапом оценки является оценка практических навыков. Она должна определять, насколько сотрудник готов к выполнению новых задач по результатам обучения. Вариантами проверки могут быть: создание плана мероприятий по совершенствованию какого-либо направления деятельности компании, создание типового документа, положения, стандарта работы, разработка и реализация проекта, направление в другие филиалы и подразделения для обмена опытом и др.
6. Оценка влияния программы обучения определяет, насколько изменились бизнес-показатели компании. Наиболее сложным является определение ключевых показателей, которые подвергаются влиянию со стороны проведенного обучения. Если речь идет о финансовых данных, таких как объем продаж, прибыль, затраты, то вклад тренинга измерить довольно сложно, поскольку проведенный тренинг не является единственным фактором, влияющим на эти показатели. То есть оценке подлежат производственные показатели (улучшение качества, увеличение производительности труда персонала, рост продаж, уменьшение количества несчастных случаев и производственных травм, снижение времени обслуживания клиентов, уменьшение производственных затрат и др.).

В условиях кризиса важным является также постсопровождение программы обучения, поскольку в динамично изменяющихся условиях возможность использования навыков, полученных в процессе работы образовательных программ, в практической деятельности может быть утеряна. В такой ситуации оптимально проведение доверительной беседы с сотрудником, объяснение причин сложившейся ситуации, совместная разработка альтернативных методов практического применения знаний (стажировка, управление проектом, получение опыта в других филиалах или разработка системы наставничества). Это позволит избежать демотивации сотрудников, падения уровня вовлеченности в трудовую деятельность, а также уровня лояльности по отношению к руководству и пониманию стратегии развития организации .

Рис. 2.1.10.

Таким образом, реализация всех этапов позволит провести качественную оценку эффективности обучения персонала организации. Однако нельзя забывать, что оценка - не самоцель, а лишь средство поиска недочетов в работе всей системы, зон совершенствования и развития или технология, доказывающая полезность обучения с экономической точки зрения.

Поскольку обучение персонала является довольно затратной процедурой, работодатели стали ответственно подходить как к выбору методик обучения, так и к формированию системы обучения в целом. Важным ее элементом стала оценка эффективности системы обучения персонала, которая позволяет соотнести затратность обучения с его эффективностью.

Использование усовершенствованной модели оценки эффективности обучения позволяет обосновать значимость обучения в общей системе работы с персоналом, определить рациональность использования тех или иных методов обучения, а также выявить недочеты на разных этапах проведения обучения и скорректировать программы для дальнейшей успешной работы компании.

Удовидненко Р.С., Киреева В.С. Сравнительный анализ моделей оценки эффективности обучения персонала // Современные проблемы науки и образования. 2014. № 6.
Турчинов Л.И. Кадровая политика и управление персоналом: проблемы теории и практики // Коммуникология. 2014. Т. 7. № 5. С. 103-117.

Модель Киркпатрика

1) реакции. Участники тренинга положительно реагируют на тренинг непосредственно после его завершения;

участники тренинга положительно реагируют на его завершение 🙂

2) знания. Участники выучили материал тренинга;

3) поведения. Участники применяют на работе то, что они изучили на тренинге;

4) ROE. Тренинг имеет положительные результаты для организации;

Критика модели Киркпатрика:

Существует несколько доводов, критикующих модель Киркпатрика. Во-первых, последние исследования, совершенные Элвудом Холтоном и Джорджем Аллигером, бросают тень сомнения на иерархический аспект модели. Их исследования показали, что корреляции между уровнями иерархии Киркпатрика либо малы, либо несущественны. Во-вторых, когда с тренинговой программой что-то не так (низкий трансфер), модель не определяет причину проблемы и что с ней делать. В-третьих, модель не учитывает другие переменные, такие как мотивация участников, само-эффективность или условия организации. В-четвертых, модель не обладает высокой степенью точности. Например, второй уровень, «знания», не определяет – декларативные это знания или процедурные. Также, сложно измерить первый уровень, «реакции»: участники могут тренинг ненавидеть, получать от него удовольствие, он им может нравиться, показаться приятным, скучным, интересным. Но самый главный аргумент, заключается в том, что по модели Киркпатрика, оценка любого тренинга должна основываться на одних и тех же переменных. Современный взгляд на оценку эффективности тренинга предполагает, что методы оценки должны выбираться исходя из целей оценки.

Как уже неоднократно упоминалось выше, проблема оценки эффективности обучения все еще остается актуальной для многих компаний, занимающихся развитием своего персонала.

Интересно, что вокруг предложенного Киркпатриком подхода не умолкают споры, еще в конце 1950-х годах, он сформулировал ныне известные 4 уровня оценки эффективности, однако его модель оценки тренингов остается одной из базовых, а его книги - наиболее цитируемыми. Киркпатрик рассматривает оценку как неотъемлемую часть цикла проведения обучения, который включает 10 этапов:

1. Определение потребностей.

2. Постановка целей.

3. Определение предметного содержания.

4. Выбор участников обучения.

5. Формирование оптимального расписания.

6. Подбор соответствующего помещения.

7. Подбор соответствующих преподавателей.

8. Подготовка аудиовизуальных средств.

9. Координация программы.

10. Оценка программы.

Киркпатрик считает, что в большинстве случаев оценка ограничивается использованием анкет по окончании тренинга - изучением непосредственной реакции слушателей на обучение. Он называет эти анкеты "листами для улыбки" (smile-sheets), имея в виду, что чаще всего участники используют анкеты для выражения благодарности.

Четыре уровня, по Кирктпатрику, определяют последовательность проведения оценки обучения. Он пишет: «Каждый уровень важен и влияет на следующий за ним уровень. При переходе от уровня к уровню процесс оценки становится более трудным и требует больше времени, но при этом позволяет получить более ценную информацию» .

· Уровень 1 - Реакция (Reaction)

· Уровень 2 - Научение (Learning)

· Уровень 3 - Поведение (Behavior)

· Уровень 4 - Результаты (Results)

1. Реакция

Оценка на этом уровне определяет, как участники программы реагируют на нее. Сам Киркпатрик называет это оценкой удовлетворенности потребителей. В случае, когда обучение проводится внутри фирмы, реакция участников не всегда интерпретируется как удовлетворенность потребителей. Зачастую руководство определяет необходимость участия в какой-либо образовательной программе. Киркпатрик подчеркивает, что и в этом случае реакция участников является очень важным критерием успешности тренинга, как минимум, по двум причинам.

· Во-первых, люди так или иначе делятся своими впечатлениями от тренинга со своим руководством, и эта информация уходит выше. Следовательно, она влияет на принятие решений о продолжении тренинга.

· Во-вторых, если участники не будут реагировать позитивно, то у них не будет мотивации к научению. Позитивная реакция не гарантирует успешного освоения новых знаний, умений и навыков. Отрицательная же реакция на тренинг почти наверняка означает уменьшение вероятности научения.

2. Научение

Научение определяется как изменение установок, улучшение знаний и совершенствование навыков участников в результате прохождения ими программы обучения. Изменение поведения участников в результате тренинга возможно только тогда, когда произойдет научение (изменятся установки, улучшатся знания или усовершенствуются навыки).

3. Поведение

На этом уровне происходит оценка того, в какой степени изменилось поведение участников в результате обучения. Киркпартик указывает на то, что отсутствие изменений в поведении участников не означает, что тренинг был неэффективен. Возможны ситуации, когда реакция на тренинг была позитивной, научение произошло, но поведение участников в дальнейшем не изменилось, поскольку для этого не были соблюдены необходимые условия. Поэтому отсутствие изменения поведения участников после тренинга не может быть поводом для принятия решения о прекращении программы. В этих случаях кроме оценки реакции и научения рекомендуется проверить наличие следующих условий:

· Желание участников изменить поведение.

· Наличие у участников знаний о том, что и как делать.

· Наличие соответствующего социально-психологического климата.

· Поощрение участников за изменение поведения.

Говоря о социально-психологическом климате, Киркпатрик имеет в виду прежде всего непосредственных руководителей участников обучения. Он выделяет пять видов "климата": запрещающий, обескураживающий, нейтральный, поддерживающий, требующий. Позиция руководителя, соответственно, меняется от запрета на изменение поведения до требования изменить поведение после окончания тренинга. Киркпатрик считает, что единственный способ создания позитивного климата - вовлечение руководителей в разработку учебных программ.

4. Результаты

По мнению Киркпатрика, оценка на этом уровне - самая сложная и дорогостоящая. Вот несколько практических рекомендаций, которые могут помочь в оценке результатов:

· если возможно, использовать контрольную группу (не проходившую обучение),

· проводить оценку через некоторое время, чтобы результаты стали заметны,

· проводить оценку до и после программы (если это возможно),

· провести оценку несколько раз в ходе программы,

· сопоставить ценность информации, которую удастся получить с помощью оценки и стоимость получения этой информации (автор считает, что проведение оценки на 4 уровне не всегда целесообразно в связи с ее высокой стоимостью).

К принципиальным недостаткам данного подхода относится тот факт, что выделенные информационные блоки не связаны между собой, кроме этого отсутствуют механизмы обратной связи, позволяющие управлять процессом генерации и передачи знаний.. Остальные трудности связаны с неразработанностью процедурного уровня сбора информации и ее обработки. Вследствие этого:

1) обобщенные числовые характеристики объективно не отражают состояния и отношения в измеряемой эмпирической системе;

2) используемые измерительные техники не обладают свойствами валидности, чувствительности и надежности;

3) не учитывается влияние внешних факторов;

4) не ясно, как выделить «чистый эффект» от обучения».