Jak oceniać efektywność szkoleń- Metoda Success Case

Krzysztof FilarskiArkadiusz Siechowicz

Jak sprawdzić, czy umiejętności, których nauczano w trakcie szkolenia, rzeczywiście zostały nabyte przez jego uczestnika? Czy sukces szkolenia można zmierzyć, odnosząc go do konkretnej osoby?

Przypadek Piotra:

Jako kierownik odpowiadam za tworzenie grafików pracy. Jest to trudne zadanie – musiałem sobie poradzić z sytuacja, gdy z zaplanowanego na 2 tygodnie grafiku dwie osoby z różnych przyczyn zostały wypisane aż na 2 miesiące. Na szkoleniu „ Umiejętności coachingowe w pracy menedżera” poznałem metodę pogłębiających pytań coachingowych. Zainspirowała mnie w trakcie rozmowy z trójką brygadzistów. Zapytałem, jakie rozwiązanie proponują w tej sytuacji i pogłębiałem ich pomysły. Do tej pory tak nie robiłem – efekt mnie zaskoczył! Brygadziści zaproponowali nadgodziny do zmiany dziennej zamiast do zmiany nocnej, co było rozwiązaniem bardzo kreatywnym. Ja myślałem o zatrudnieniu pracowników czasowych. Oszczędziliśmy 4 tysiące złotych. Czy przytoczona (prawdziwa) historia jest dowodem na to, że wspomniane 4 tysiące złotych to oszczędność wynikająca wprost ze szkolenia? Jeśli by tak było, to tylko to pojedyncze zdarzenie zwraca w dużej części koszty samego szkolenia. Jakie warunki są konieczne, by powyższy dowód był przekonujący nawet dla osób niezbyt pozytywnie nastawionych do tzw. szkoleń miękkich?

  1. Stosowanie pytań coachingowych przez kierowników tej firmy powinno być zamierzonym celem firmy zanim jeszcze szkolenie się odbędzie.
  2. Wszyscy uczestnicy procesu szkoleniowego – zamawiający, uczestnicy, trener, sponsor powinni wiedzieć, na czym ma polegać sukces bądź pozytywny efekt tego szkolenia.
  3. Nabycie konkretnej umiejętności przez uczestników szkolenia, w tym Piotra, powinno być świadomym priorytetem trenera.
  4. Piotr powinien mieć pewność, że to ta konkretna nowa umiejętność została zastosowana
    (np. jego sposób rozwiązania podobnego problemu w przeszłości był inny, a w opisanej sytuacji zastosował narzędzie pytań coachingowych).
  5.  Zarówno Piotr, jak i osoba badająca efekty szkolenia powinni mieć pewność, że to właśnie ta konkretna umiejętność przyczyniła się do wymiernej zmiany – sukcesu.
  6.  Firma zdecydowała się zastosować metodologię Success Case, by odnaleźć i opisać przypadki sukcesu.
Share Button

Założenia metodologii

Robert 0. Brinkerhoff*, nazywany przez nas naczelnym hackerem ewaluacji szkoleń, stawia na głowie dotychczasowe podejście do oceny efektów szkoleń.

Share Button
  • Nie pytamy, czy uczestnikom podobał się trener lub sala szkoleniowa (choć z pewnością nie warto rezygnować z tego fragmentu oceny). Jednak w tej metodologii nie jest to kluczowe do określenia efektów szkoleń.
  • Nie sprawdzamy osobnym testem, czy uczestnicy nabyli nową wiedzę (w praktyce sprawdzamy również ten fragment ankietowo i w czasie wywiadu).
  • Pytając o zmianę zachowań, zawsze robimy to w kontekście osiąganego efektu. Nie podejmujemy wysiłków, by zaobserwować samą zmianę w zachowaniu.

 

Metodyka Success Case (SCM) jest częścią większej całości, modelu High Impact Learning System. Jego założenia są następujące:

– szkolenie/trening to proces usprawniania wydajności, poprawy wyników w pracy,

– efektywność szkolenia to zdolność do wykonania konkretnej pracy bardziej skutecznie, dzięki użyciu konkretnej treści (np. umiejętności) ze szkolenia.

Kluczem jest nie samo badanie (ankieta, a następnie wywiad z Piotrem i jego kolegami ze szkolenia). Pierwszym krokiem w modelu jest określenie, opisanie sukcesu. Zobaczmy to na przykładach (tabela poniżej). Warto zwrócić uwagę, że nie pytamy, czym będzie sukces firmy – sponsora projektu.

Share Button
Możliwe historie sukcesu

Przygotowujemy się do kilku szkoleń w firmie. Czym będzie sukces uczestników tych szkoleń po kilku miesiącach?

Share Button

Proces ewaluacji SCM śledzi, jeśli można tak powiedzieć, każdego uczestnika. Podstawą badania i obserwowania wpływu szkolenia jest podejście „jeden uczestnik na raz” (zamiast analiz statystycznych grupy lub populacji). Zatem badanie skupia się na jednostce:

  • Czego nowego, jeśli czegokolwiek, nauczyła się ta osoba?
  • W jaki sposób, jeśli w ogóle, zastosowała nową wiedzę w konkretnych i specyficznych dla siebie sytuacjach zawodowych?
  • Czy wykorzystanie nowej wiedzy lub nowych umiejętności pomogło w osiągnięciu jakichkolwiek wartościowych efektów?

 

Kiedy już wiemy, czym jest założony możliwy sukces/wartościowy efekt, którego się spodziewamy po szkoleniu, zobaczmy, jak przebiega proces.

Share Button
Zastosowanie w firmie

Piotr, który wziął udział w szkoleniu „Umiejętności coachingowe w pracy menedżera”, wiedział już wcześniej, że zmiana, jakiej się od niego oczekuje, to stosowanie poznanych narzędzi w pracy  z zespołem (w tym z brygadzistami). O wymierność celów w tym, mimo wszystko trudnym do skwantyfikowania, obszarze zadbali: dział HR, trener i sponsor projektu. Wspólnie przygotowano mapę nowych kompetencji, którą Piotr wraz z pozostałymi uczestnikami otrzymał na szkoleniu .

Kolejnym krokiem jest przeprowadzenie przesiewowego badania ankietowego. Wszystkie osoby zaangażowane w projekt uznały, że wystarczający okres, by uczestnicy zastosowali poznane narzędzia z szansą na sukces, to 3 miesiące.
Po tym czasie każdy uczestnik na swojej skrzynce  e-mailowej znalazł zaproszenie do ankiety on-line .

Share Button
Analiza wyników ankiet

Samo badanie ankietowe przynosi kilka ważnych profitów (w tym kilka niezamierzonych):

  • Przypomina uczestnikom o poznanych narzędziach – ma więc cechy badania follow-up.
  • Daje jasny sygnał, że firmie zależy na wdrożeniu i stosowaniu poznanych narzędzi.
  • Uczy myślenia w kategoriach „osiągnąłem sukces dzięki. . .” i rozwija samoświadomość.
  • Pozwala zebrać informacje i ustalić, które poznane narzędzia mają najwyższy wskaźnik stosowalności” z sukcesem.
  • Czasami pokazuje, że wybrane narzędzia nie zostały zapamiętane, więc – co manualne nie zostały zastosowane z sukcesem.

 

Najważniejszym celem badań jest określenie, ile osób zastosowało poznane narzędzia 2 konkretnym, pozytywnym efektem i ocenia, że narzędzie to w znacznym stopniu przyczyniło się do tego sukcesu. Tę grupę zapraszamy do pogłębionego wywiadu. Można też zdecydować się na przeprowadzenie wywiadów z osobami, które nie zastosowały narzędzia z sukcesem, by poznać „rafy i mielizny”, które przyczyniły się do braku powodzenia.

Share Button
Pogłębiony wywiad

Pogłębiony wywiad (np. telefoniczny) jest to najbardziej zaawansowany etap badania i wymaga stosunkowo dużych umiejętności prowadzenia takich rozmów (także umiejętności zadawania pytań i umiejętności coachingowych). Jednocześnie jest to najbardziej fascynujący etap, gdyż spotykamy się z konkretnym człowiekiem, który tylko czeka, by opowiedzieć nam historię swojego sukcesu. Rozmowę zaczynamy tak, by uzyskać odpowiedź na pytanie, np.: „W ankiecie, którą mamy przed sobą, opisywałeś efektywne dla Ciebie narzędzia, dzięki którym odniosłeś wymierny efekt. Najwyżej oceniłeś wpływ narzędzia A. Jaka konkretna sytuacja związana z tymi narzędziami zapadła Ci w pamięć?” Wszędzie tam, gdzie uczestnik szkolenia wymienia Iiczby lub wartości, dopytujemy i precyzujemy. Wywiad trwa kilkadziesiąt minut, wymaga więc przygotowania i zaplanowania. Efektem serii wywiadów jest zbiór historii sukcesów szkoleniowych.

 

Typy możliwych wniosków z badania SCM:

  1. Jaki osiągnięto wpływ na wyniki (jeśli w ogóle osiągnięto)?
  2. Jak szeroki jest zakres, zasięg sukcesu we wdrażaniu efektów poszkoleniowych?
  3. Czy szkolenie jest bardziej efektywne w pewnych działach lub w przypadku pewnych typów pracowników?
  4. Czy niektóre części/moduły/tematy szkolenia były wdrażane skuteczniej (z większymi sukcesami) niż inne?
  5. Jakie czynniki systemowe (np. wsparcie/brak wsparcia przełożonego) były związane z sukcesem lub brakiem sukcesu?
  6. Jaka jest wartość osiągniętych wyników?
  7. Jaka jest niezrealizowane wartość szkolenia? Co by się wydarzyło, gdyby każdy z uczestników osiągnął 100 proc. Możliwych wdrożeń i osiągnął sukces?
  8. Jak wypada porównanie efektów szkolenia z jego kosztami?
Share Button
PRZYPlSRobert 0. Brinkerhoff, “The Success Case Method: A Strategic Evaluation Approach to Increasing the Value and Effect of Training” Benem-Koehler Publisher, San Francisco 2003.