«Методика измерения и оценки эффективности
профессионального обучения персонала
промышленного предприятия»

Цель методики:

1)           оценка целесообразности вложения денежных средств в профессиональное обучение персонала  предприятия;

2)           определение путей дальнейшего совершенствования и оптимизации образовательного процесса;

3)           мониторинг результатов от предпринятых изменений;

4)           оценка удовлетворенности «заказчика» профессиональным обучением.

 

Согласно определению ГОСТ Р ИСО 9004-2001:

эффективность – это связь между достигнутым результатом и использованными ресурсами.

Результатами профессионального обучения работников предприятия является:

• получение персоналом требуемого  количества знаний, умений, навыков и применение их в профессиональной деятельности после обучения;
• положительные изменения деятельности всего предприятия, которые могут проявляться, например, через повышение производительности труда и качества выпускаемой продукции, снижение непроизводственных затрат и себестоимости продукции, снижение количества травм и аварийных ситуаций, и т.д.

Использованными ресурсами в данном случае являются:

• финансовые ресурсы (прямые затраты и косвенные затраты на обучение);
• учебно-методическое обеспечение (учебные и наглядные пособия, литература);
• техническое сопровождение учебного процесса (технические средства обучения);
• человеческие ресурсы (уровень квалификации и подготовленности преподавателей, инструкторов, организаторов профессионального обучения).

Исходя из определения, расчет эффективности профессионального обучения проводится по четырем шкалам (критериям), что позволяет оценить взаимосвязь достигнутых результатов обучения с  привлекаемыми ресурсами:

а) Шкала Реакция. Анализ по данному критерию позволяет оценить и установить связь таких компонентов, как актуальность целей обучения; содержание учебной программы; удовлетворенность организацией и режимом обучения; степень вовлеченности участников в учебный процесс; мотивация к обучению и дальнейшему применению знаний в работе.

б) Шкала Усвоение. Анализ по данному критерию позволяет оценить, какие знания, приемы, умения и навыки были усвоены слушателями за период обучения. Лучший способ определить прогресс членов группы – сопоставить результаты оценки знаний, умений, навыков до и после обучения.

в) Шкала Производственное поведение. Анализ по данному критерию позволяет удостовериться в том, что приобретенные знания, умения, навыки применяются в рабочих условиях и способствуют изменению производственного поведения.

г) Шкала Результат. Анализ по этому критерию позволяет определить вклад обученного персонала в работу организации, то есть установить взаимосвязь между целями обучения и ростом производственно-экономических показателей всего предприятия.

Комплексный анализ результатов по каждой шкале дает объективную оценку эффективности профессионального обучения персонала на промышленном предприятии, подтверждает целесообразность проведенного обучения и демонстрирует, какие выгоды для предприятия оно позволило достичь.

Для измерения эффективности профессионального обучения определяются оценочные показатели по каждой шкале (критерию), выбор которых зависит, прежде всего, от общей цели профессионального обучения на предприятии и от цели конкретного вида обучения или учебной программы. Анализ оценочных показателей производится на основе сравнения их фактических значений с максимально возможными. Это позволяет использовать полученные данные для определения путей дальнейшего совершенствования и оптимизации образовательного процесса, а также для проведения мониторинга результатов от предпринятых изменений.

Достоверность комплексной оценки эффективности профессионального обучения персонала предприятия повышается за счет разнообразия выбора объектов исследования (учебных программ) и увеличения количества его участников (обученных, их руководителей, коллег и подчиненных). В связи с этим, процедура измерения  показателей эффективности требует значительных затрат времени и ресурсов, поэтому является дорогостоящей.

* * *

Таблица 1. Оценочные показатели шкалы Реакция и способы их измерения

№ пп	Наименование оценочного показателя	Измеряемые  параметры
1.	Удовлетворенность слушателей качеством преподавания (а1)	a) умение актуализировать учебный материал; b)использование практических примеров при объяснении учебного материала; c) оптимальное использование наглядных пособий и технических средств обучения; d)доступность и последовательность изложения учебного материала; e) умение вызвать интерес слушателей к изучаемому материалу
2.	Удовлетворенность слушателей учебной программой (а2)	a)     соответствие предлагаемых учебной программой вопросов  профессиональным потребностям слушателей
3.	Удовлетворенность организацией обучения (а3)	а) режимом обучения; б) условиями обучения.

Формы измерения удовлетворенности слушателей качеством преподавания:

1.     Индивидуальная оценка преподавателя. Проводится экспресс-анкетирование слушателей  по каждому преподавателю. Анализ на этом уровне позволяет сделать вывод об уровне профессиональной компетентности и рейтинге преподавателя по каждому конкретному разделу и теме учебной программы, что позволяет определить пути оптимизации процесса обучения.

2.     Средняя оценка качества преподавания на курсе. Проводится анкетирование слушателей в конце курса.

Формы измерения удовлетворенности слушателей учебной программой и организацией обучения:

1.     Средняя оценка по всему курсу. Проводится анкетирование слушателей после окончания обучения.

Для получения достоверных результатов итоговое анкетирование рекомендуется проводить анонимно.

В связи с тем, что слушатели являются непосредственными потребителями учебного процесса, по результатам оценки показателей по шкале Реакция оценивается удовлетворенность потребителя.

Шкала Знания.

Лучший способ оценить прогресс членов группы – сопоставить исходные цели обучения с результатами проверки знаний участников, проводимой после прохождения программы.

Таблица 2. Оценочные показатели шкалы Знания и способы их измерения

№ пп	Наименование оценочного показателя	Измеряемые  параметры
1.	Качество отбора слушателей на обучение (b1)	а) количество оценок «5» на «нулевом» срезе свидетельствует о  полном знании слушателями вопросов, изучаемых в рамках учебной программы
2.	Уровень усвоения знаний, умений и навыков (b3)	а) средний балл на «контрольном срезе»; б) качественная успеваемость на «контрольном срезе»

Формы измерения оценочных показателей по данной шкале:

1.        Индивидуальная оценка знаний,  умений и навыков по всему курсу до и после обучения с использованием тестирования или билетов.

2.        Анализ результатов опроса с использованием методики Закиевски.

Описание методики Закиевски: результаты начального и итогового тестирования представляются в виде столбчатых диаграмм, показывающих число слушателей, давших правильные ответы на то или иное число вопросов. Полученные в виде графика данные позволяют ответить на следующие вопросы:

• как изменяется разброс правильных ответов после обучения в сравнении с результатами начального тестирования – это оценка изменения общего уровня знаний по группе;
• насколько изменяется положение среднего значения правильных ответов по отношению к максимальному (общему количеству вопросов в тесте) – это оценка усредненного уровня усвоения учебного материала.

Результаты проводимого анализа можно использовать:

-    для ориентации преподавателей или инструкторов на дифференцирование учебного материала в зависимости от базовых знаний обучаемых;

-    для отслеживания изменения уровня знаний, умений, навыков как у отдельно взятого слушателя, так и у всей группы;

для оценки удовлетворенности «заказчика» обучения, то есть руководителей подразделений предприятия. Представители «заказчика» являются членами квалификационных комиссий, которые оценивают у прошедших обучение работников уровень приобретенных знаний, умений и навыков.

Шкала Производственное поведение

Этот уровень оценки позволяет удостовериться в том, что знания и навыки применяются в рабочих условиях. Для этого проводится мониторинг деятельности участников после завершения ими обучения, который состоит в интервьировании  или заполнении опросников участниками и их непосредственными руководителями, коллегами или подчиненными.  Благодаря использованию такого метода создаются условия для оценки руководителями действий подчиненных, прошедших учебный курс. 

Таблица 3. Оценочные показатели шкалы Поведение и способы их измерения

№ пп	Наименование оценочного показателя	Измеряемые  параметры
1.	Работа по присвоенной квалификации для рабочих (с1)	а) из обученных по 2 профессии все выполняют обязанности по полученной квалификации; б) из обученных на ПЭК всем присвоена новая квалификация.
2.	Применение полученных знаний, умений и навыков в профессиональной деятельности для руководителей и специалистов (с2)	а) применение в работе полученных во время обучения знаний (с21); б) востребованность полученных знаний в работе (с22); в) обучение способствовало улучшению работы обучаемого с т.з. подчиненных, коллег (с23); г) обучение способствовало улучшению работы обучаемого с т.з. непосредственных руководителей (с24).
3.	Предпринятые после обучения нововведения и изменения для руководителей (с3)	а) нововведения, изменения в работе предприняты с т.з. обученного (с31); б) результат действия предпринятых нововведений с т.з. обученного (с32); в) реакция  подчиненных на нововведения, предпринятые  обученным (с33); г) реакция непосредственных руководителей на нововведения, предпринятые  обученным (с34).
4.	Участие в рационализаторской и изобретательской работе (с4)	а) обученный персонал занялся рационализаторской и изобретательской деятельностью – применение знаний для совершенствования производства

Формы измерения оценочных показателей по данной шкале:

1.        Анкетирование обученных работников через 3-6 месяцев после окончания обучения;

2.        Экспертная оценка непосредственными руководителями обученных работников через 3-6 месяцев после окончания обучения;

3.        Экспертная оценка подчиненных или коллег обученных работников через 3-6 месяцев после окончания обучения.

Кроме того, в результате анализа экспертных оценок оценивается удовлетворенность «заказчика» (руководителя подразделения) проведенным обучением, содержанием учебной программы в целом по следующим  критериям:

-         степень соответствия учебной программы профессиональным потребностям;

-         оценка предпринятых обученным изменений в работе.

Шкала Результат

Анализ на этом уровне означает оценку вклада обучения в работу организации. Это значит, что необходимо установить четкую взаимосвязь между целями обучения и ростом производственно-экономических показателей всего предприятия.

Таблица 4. Возможные оценочные показатели шкалы Результат
и способы их измерения

№ пп	Наименование оценочного показателя
1.	Выполнения задания по росту  производительности труда (d1)
2.	Снижение коэффициента текучести персонала (d2)
3.	Соответствие квалификации персонала (d3)
4.	Снижение уровня травматизма (d4)
5.	Снижение уровня отклонений технологической дисциплины (d5)
6.	Рост качества продукции (d6)
7.	Экономия затрат (d7)

Формы измерения оценочных показателей по данной шкале – это сбор информации от соответствующих  подразделений завода.

Список оценочных показателей может быть изменен (расширен, сокращен или показатели могут быть заменены на другие), исходя из влияния обученного персонала на изменение производственно-экономических показателей завода.

РАСЧЕТ ПОКАЗАТЕЛЯ ЭФФЕКТИВНОСТИ ОБУЧЕНИЯ

Расчет показателя эффективности обучения персонала промышленного предприятия, с точки зрения целесообразности вложения средств,  проводится по формуле:

Эф = 0,21*А+0,26*В+0,28*С+0,25*D,                   

где

A -  количественная оценка шкалы РЕАКЦИЯ,

B -  количественная оценка шкалы  ЗНАНИЯ,

C -  количественная оценка шкалы  ПРОИЗВОДСТВЕННОЕ ПОВЕДЕНИЕ,

D - количественная оценка шкалы РЕЗУЛЬТАТ,

             Расчет показателя эффективности по данной формуле не зависит от числа измеряемых параметров.

             Кроме того, анализ полученных значений эффективности по каждой шкале и значений входящих в нее оценочных показателей позволяют определить причины снижения эффективности или неудовлетворенности обучением, а значит разработать мероприятия по совершенствованию системы профессионального обучения на предприятии.

Анализ показателя эффективности с точки зрения целесообразности вложения средств в обучение персонала:

• Эф<50% - деньги потрачены впустую,

• 50%<Эф<80% - расходы можно оправдать, скорректировав методы и формы организации и ведения учебного процесса,

•  80%<Эф<100%  - полная отдача от инвестиций в обучение,

• Эф>100% - явный прорыв в развитии завода (систему профессионального обучения можно запатентовать, а методы включить в «золотой» фонд)

 

 

 

 

©  Начальник бюро     Отдела профессиональной      подготовки персонала     ОАО «Автомобильный     завод «Урал»	Ж.Г. Жукова 13.01.2004
© Психолог    Отдела профессиональной    подготовки персонала    ОАО «Автомобильный    завод «Урал»	Т.А. Патрашкина