Резюме. Настоящата статия представя различни подходи и индикатори за измерване на ефекта от обучения за обучители, като полага измерването на въздействието не само върху обучаваните обучители, но и върху постиженията, промяната в поведението и резултатите на обучаваните впоследствие от обучителите лица (ученици или студенти). Съществен принос на представения модел за измерване на промяната предвижда анализ на организационната промяна и степента, в която се осъществява трансфер на знания към останалия преподавателски екип. Значение за организационната промяна има концепцията за споделено лидерство и участието на преподавателите в процеса на взимане на решения по ключови за организацията въпроси, общото виждане за мисията и ценностите на организацията, целите, които си поставя.

Ключови думи: impact assessment; assessment of trainings for teachers and professors; change measurement; knowledge transfer; analysis of the organizational change; shared leadership; involvement in the decision-making process

В обществото на знанието университетите и научните организации, като производители на знания, играят много важна роля. Трансферът на знание е един от ключовите катализатори на икономическия растеж. Всяка програма за обучение на обучители трябва постигне определени цели и оценката на нейното въздействие измерва до каква степен постигнатите резултати отговарят на поставените цели. Ето защо оценките на такива програми се осъществяват чрез измерване на промяната, която са постигнали. В зависимост от поставените цели се дефинират и показателите, чрез които може да бъде показана промяната: промяна в нагласите и поведението, промяна в академичните резултати на обучаваните, промяна в моделите на преподаване, промяна в знанията и развитите умения (на обучаемите и на обучаваните от тях лица). Тези важни елементи от измерване на ефектите от обученията за обучители се търсят на две нива – на нивото на обучаваните обучители и впоследствие на нивото на обучаваните от тях лица (студенти, ученици и други обучавани възрастни). Важна част от промяната може да се търси и на организационно ниво, където тя се изразява в цялостна промяна в нагласите и поведението на преподавателския състав, в ценностите и моделите на изграждане на съответната академична или училищна общност, в развиваните парадигми и в обмена на знания и научно развитие. Съществен елемент и резултат от обучението на обучители е изграждането на лидерски подход, който включва идеята за споделено лидерство, а в определени случаи води и до промяна в организационната структура и моделите на управление и функциониране на организацията.

Всяка оценка на ефектите задължително включва и анализ дали програмата за обучение е в състояние да постигне целите и дали е ефективна по отношение на направените разходи и постигнатите ползи. В подобни оценки обучението се разглежда като процес на развиване на умения, навици, знания и нагласи у обучаваните с цел увеличаване ефективността им на заеманите от тях позиции, както и подготовката им за бъдещи позиции в организацията.

В по-общ план ефектите се търсят и в това доколко тези интервенции имат съществена роля за повишаване на икономическия растеж и развитието на бизнеса, променят съществено професионалната или академичната подготовка на обучаемите лица, как влияят върху когнитивните им умения и върху уменията им да се справят с определени практически задачи.

Обикновено оценките анализират дизайна на обучението, начина, по който са дефинирани обучителните роли, осигурения бюджет, ангажимент за управление, внимание към индивидуалните нужди на лицата и организацията, механизмите за мотивация и др. Целта на оценките на въздействието е да оптимизират обученията, да подобрят тяхната ефективност спрямо поставените цели, да повишат резултатите на организацията и да повлияят в търсените посоки за промяна на поведението и нагласите на обучаваните лица, а впоследствие чрез тях и на останалите членове на училищния или академичния състав.

Развитието се определя от Dessler (2005) като процес, който използва различни методи за осигуряване на нови и съществуващи служители с необходимите умения за изпълнение на основните им дейности. Това определение е подобно на това, което се използва от други автори (Beardwell & Holden, 2003; Cascio, 1998; Cherrington, 1995; Ivancevich, 2003; Mondy & Noe, 2005; Torrington & Hall, 2005; Yong, 2003). Обучението се разглежда и като мощен агент за модернизиране и надграждане на организацията, обогатяване на компетенциите, развитие на способностите и подобряване на рентабилността (Cosh, Duncan & Hughes, 1998).

За да се инициира по-ефективно обучение, организациите трябва да разгледат как системата за обучение и развитие се привежда в съответствие със стратегията на организацията и с това, което се прави, за да се гарантира, че цялото обучение напълно съответства на нуждите и на контекста на организацията, както и на по-широкия контекст и нуждите на средата (Haslinda & Mahyuddin, 2009: 40).

Оценката на ефективността на обучението трябва да бъде концептуално разработена, така че да достигне до четири нива на ефективност на обучението: реакция, обучение, поведение и натрупване на резултат.

Общата концепция за оценка на обученията е да се измери до каква степен обучението на обучители и неговите компоненти променят образователната среда в университетите и училищата. Промяната се проследява както на ниво преминали обучението обучители, така и на ниво промяна в резултатите, оценките и нагласите на обучаваните впоследствие от тях лица и се измерва чрез следния набор от ключови показатели, които включват, но не се ограничават до:

– иновативни методи на преподаване;

– индивидуалното преживяване в учебната зала и качество на учебния процес;

– напредък и успех на обучаемите лица, които биват обучавани от преминалите обучение обучители;

– повишаване на академичните постижения;

– учебни модели в образованието;

– връзка между технологиите и образователния процес, както и връзка между технологиите и индивидуалния опит на обучаемите в процеса на обучение;

– връзка между инвестицията в инфраструктура и промяната в моделите на преподаване;

– игрите, като част от образователния процес;

– различни аспекти на образователните ефекти;

– независимо мислене на обучаваните лица и независимо мислене на обучаваните от тях;

– активност и участие на обучаемите в образователния процес и активност и участие в образователния процес на обучаваните впоследствие от тях лица;

– pромяна в начините на учене;

– лидерски модели и организационна култура в образователните институции, в които се трансферира знанието;

– подобряване на подготовката и мотивацията на обучаваните лица и на обучаваните от тях впоследствие;

– укрепване на институционалните възможности; укрепване на ресурсната база за образование;

– култура и среда на образователни иновации и нови обучителни практики;

– разпространение на знанията и новата култура между различните образователни институции и сред обучители и представители на организации, които не са участвали в обучението;

– влияние върху форми на взаимодействие и партньорство с широк кръг заинтересовани страни (бизнес, местни общности, потенциални целеви групи).

Ключовият подход е да се сравнят резултатите преди и след обучението, както и да се сравнят резултати между обучаеми лица в организации, в които обучителите са преминали обучение, и такива, в които не са. За да се постигне сравнимост на резултатите, е важно да се провери доколко двете съвкупности са сходни по ключови характеристики, които могат да повлияят на оценката (например образователен и социален статус, продължителност в образование и др.)

Този подход на оценка наричаме модел на добавената стойност. Основният модел разглежда дали ползите (или добавената стойност) са по-високи сред обучаемите, чиито обучители са преминали обучение за обучители, спрямо тези, които не са. В този подход трябва да се контролират множество други измерими характеристики на обучаемите лица, обучаваните от тях и спецификите на организациите.

За да бъде измерена промяната, ние също така трябва да контролираме зависими и независими променливи на лично, групово и организационно ниво, като:

– етническо и социално многообразие;

– социално-образователен произход на семействата на обучаемите лица;

– образование и подкрепа на родителите;

– вид населено място, където е образователната институция;

– вид населено място, където живеят обучаемите лица;

– процент оценки под средното за страната в предходната година;

– среден успех на обучаемите в обучаващата организация (за да се види как обучението на обучители се е отразило на успеха и академичните постижения на обучаваните лица);

– години преподавателски опит, преди да влезе обучителят в програмата;

– години преподавателски опит на обучителя в момента на оценяване;

– студентски характеристики.

Оценката също така трябва да вземе предвид:

– има ли активно лидерство, особено за обучаваните общности, и мониторинг на резултатите на обучаваните лица;

– има ли възможност за оценка и анализ на това как обучаемите лица учат (типове учене);

– анализ на отношенията обучаем – обучител и процеса на обучение;

– до каква степен и колко време продължава приложението на наученото на практика;

– съществуват ли колегиална подкрепа, интерактивни обучителни дейности, развиване на разнообразен опит и компетенции и използване в практиката на конкретни насоки за трансфер на знание;

– налице ли е базирано на проблемите и опита обучение;

– съществува ли доверие в отношенията в учебния контекст;

– има ли положителна мотивация за трансфер на знания;

– до каква степен трансферът на знания след обучението на обучители е положен като цел в рамката на обучението и се осъществява в организационната среда, в която се връщат обучителите;

– каква е ролята на организационната култура на участниците (например отговорността на участниците, участието им в процеса на взимане на решение) преди и след обучението;

– до каква степен трансферът на знания е бил зададен в контекста на обучението (напр. дейностите за определяне на цели) и неговите последици (напр. усещането за компетентност и увереността на преподавателите, преминали обучението);

– до каква степен можем да заявим, че индивидуалните нагласи на обучаваните обучители и други индивидуални фактори определят трансфера на знания;

– влияят ли работният климат и отношенията в организацията върху катализирането или спирането на трансфера на знания;

– до каква степен мотивацията за прехвърляне на знание е фактор за ефектите от обучението и за развиване на компетенциите в по-широкия организационен контекст;

– до каква степен ефектът зависи и от начина, по който преподавателите участват в процеса на вземане на решения в организацията (концепцията за споделено лидерство), дали те са включени, в какви решения, по какъв начин и какво е постигнато.

Основно правило е, че обучението по своето естество изисква преподавателите да познават не само предмета, но и да имат умения как да преподават ефективно, как да водят обучаемите лица, как да дефинират образователните си задачи и как по-ефективно да допринасят за тяхното постигане.

Този подход дава възможност да анализираме дали обучаваните лица с преподаватели, които са преминали обучение за обучители, имат по-добри резултати от обучавани лица, които са с други преподаватели, как влияе броят на обучаваните преподаватели в рамките на организацията, влияе ли на цялостната промяна и на резултатите, на управлението на организацията, на промяната на средата, на ценностите и моделите на образователното ръководство. Подобни изследвания използват статистически методи за изолиране на различните фактори и анализ на постиженията на обучаваните лица, които наистина се дължат на различията в подготовката на техните преподаватели, а не на различията в социалния и образователния статус и предходен опит на обучаваните лица.

Важна част от показателите за анализ за резултатите на обучаемите е не само разликата преди и след интервенцията, в началото и в края на учебната година, но и дисперсията (показател за разсейването) на оценките на обучаемите лица.

Различните подходи предвиждат и сравняване на различните начини на подготовка на преподавателите – съществуващите модели и парадигми на обучения, които се предлагат от различни институции и академични организации. Основната концепция е да се анализира обучението на обучителите като процес на промяна на поведението.

Друг важен аспект на оценките е „трансферът на обучение“, представен като степента, до която участващите в обучението обучители прилагат на практика знанията и уменията, които са развили благодарение на обучението, промяната в организационните структури, готовността за трансфер на организационни модели, желанието на обучаваните и техните организации да се променят, организационното планиране, организационния климат, дизайна на обучението, връзката между обучителните казуси и съществуващите проекти и дейности в образователните организации, мотивацията за трансфер, личностните трансформации и промяната в нагласите, легитимността на промяната, полезността на промяната, мотивация за трансфер и дизайн на обучението. Оценките взимат предвид различните елементи, които биха могли да бъдат вътрешни за обучението и външни – аспекти на промяната, която се ръководи и която мотивира учителите да прилагат на практика новите знания и умения в своята работа.

В допълнение на това важен елемент от оценките на промяната е организационният климат, който се отнася до сближаването, работата в екип и чувството за принадлежност на преподавателите. В този пункт оценките включват отново елементи от промяната на организационните структури, легитимността на промяната, ценности и обмен, как организацията планира и управлява прилагането на новите знания и методите, начина, по който междинните структури на организацията и останалите членове на обучителните екипи вземат предвид новото обучение. В рамките на този фактор консенсусът между преподавателите относно въвеждането на иновации би имал голямо значение. Оценките също така обхващат променливите лични нагласи, които представляват ангажираността и чувството за отговорност и принадлежност на обучителя към обучаващата организация. Важни са нагласите и подкрепата от образователната администрация, тъй като тя всъщност може да даде тласък на обучението, практическото приложение и трансфера на знания и развиване на различните образователни проекти.

Повечето оценки анализират дали има ориентираност към трансфера в организацията, дали обучителите са мотивирани и включени във въвеждането на промените, начина, по който училищата и университетите организират процесите на предаване на знания, оценяват и установяват начини за интегриране на новото учене и развиване на умения у обучаваните. Често преподавателите научават и прилагат знания и развиват иновативни методи на преподаване и работа, но все още липсва споделяне на знания между обучителите и трансфер на знания между различните структури. Също така е важно доколко организационната среда подкрепя промяната, оценява трансфера на знания и каква е ролята на ръководството. Поредица от изследвания показват, че общата подкрепа на ръководството е много важна за трансфера на знания. Ако обучителите виждат, че тази промяна е подкрепена, че екипът мисли и говори за промяна и реформа и че ролята на обучителя се оценява като ключов агент за промените в образователната система, трансферът на знания ще бъде по-голям. Това е ключово по отношение на това дали обучението въздейства значително и върху други фактори, като желанието на организацията да се променя, цялостния организационен климат и внедряването на нови модели.

Освен да бъдат разбрани факторите на промяната, важна част от оценките и анализа са да бъде разбрано точно как взаимодействат факторите и как въздействат на индивидуалния и организационния трансфер, за да триангулират всички данни, които могат да бъдат анализирани, и да се получи по-изчерпателна картина.

Основната задача е да се отговори до каква степен обученията оказват значително влияние върху убежденията и практиките на обучителите, как влияят на постиженията на обучаемите, как повлияват на образователните реформи, доколко улесняват промяната на нагласите, вярванията и практиките на обучителите, като целта е да се подобрят резултатите от обучението и постиженията.

Един от ключовите подходи е подходът на Kirkpatrick, който измерва значението на реакциите в обучението, резултатите от обучението, поведенческите промени и организационните ефекти.

Най-важният елемент са: реакции на участниците, обучение и добавена организационна подкрепа и промяна и резултати от обучението за обучаемите. С подхода на Kirkpatrick се предоставя изчерпателен модел на контекстуалните елементи, които трябва да бъдат оценени, и следователно това е модел, който измерва ефективното изпълнение на резултатите и улесняване на трансфера.

С този подход се изследват ефектите от обучението за обучители и отговорът на обучаемите към новите идеи и промените в поведението. Този подход анализира личностното развитие на обучаваните обучители, включващо по-интегрирана перспектива за учене, мотивация и трансфер на знанието.

Ниво 1: Реакция

Това ниво измерва начина, по който обучаемите (обучаваните лица) реагират на обучението, степента, до която участниците намират подходящо, ангажиращо и съответстващо на нуждите си обучение. Важно е да се измерва реакцията, тъй като тя ни помага да разберем доколко е удовлетворена аудиторията. Също така помага да се подобри обучението на бъдещите обучаващи се, включително да се идентифицират важни области или теми, които липсват в обучението.

Ниво 2: Учене

На ниво 2 се измерва какво са научили участниците. Колко са се повишили знанията им в резултат на обучението. Анализира се дали обучението води до промени в знанията, уменията или нагласите, или на всички от тях. На това ниво се анализира степента, до която участниците придобиват желаните знания, умения, нагласи, увереност и ангажираност въз основа на своето участие в обучението.

Това ниво би помогнало да се търсят начини да се подобри обучението и да се повиши неговата ефективност.

Ниво 3: Поведение

На това ниво оценяваме до каква степен участниците са променили по-ведението си въз основа на полученото обучение и степента, до която участниците прилагат това, което са научили по време на обучението, когато са отново на работа. По-конкретно, това ниво се отнася до това как обучаемите прилагат информацията, която са получили.

Важно е да осъзнаете, че поведението може да се промени само ако условията на средата са благоприятни. В рамките на този етап проучваме дали има добра среда за прилагане на новите умения, знания и нагласи и дали организацията насърчава този трансфер.

Ниво 4: Резултати

На това ниво се анализират окончателните резултати от обучението. Това включва да се анализира каква е добавената стойност от обучението. На този етап методът проследява степента, до която се постигат целевите резултати на обучението, и съпоставката между ефектите и поставените цели.

Ниво 5: Възвращаемост на инвестициите

На този етап се прави анализ каква е възвращаемостта на инвестицията и дали обучението е ефективно.

Теория на промяната

Оценките, които търсят сравнение преди и след и имат за цел да проследяват промяната (на лично и организационно ниво). В тяхната основа стои теория на промяната. Основните допускания на теорията на промяната са свързани с допусканията, че има конкретни мерки и интервенции, които въздействат ефективно и могат да дадат определен резултат или да решат определен проблем. Тези допускания предполагат също така, че има ясна представа за очакваните резултати и очакваното въздействие. Теорията на промяната също така изисква ясна визия за това кои са засегнатите страни, добро планиране на методите на интервенция и необходимите ресурси (финансови, време, умения и знания) за използване на тези инструменти и процеси за ефективно въздействие върху целевите групи. Във фазата на планиране се предвижда да бъдат определени съответните партньори, показатели за резултати и индикатори за въздействие, които ще бъдат използвани.

Теорията на промяната е обяснение за това как и защо дадена група дейности е довела до промените, които проектът се стреми да постигне. Тя се основава на предположението, че ако извършим тази или онази дейност, ще получим известна промяна в поведението.

Тази теория се използва като референтна точка за изследване и анализ на целите на програмата и проектите.

Анализ на приноса

Анализът на приноса е подход за оценка на причинно-следствените въпроси и за определяне на причинно-следствената връзка в процеса на оценка на програмата. Този подход дава възможност да се изведе приносът, който проектът има за постигане на конкретни резултати.

Съществената стойност на анализа на приноса е, че той предлага подход, целящ да намали несигурността относно ефектите на интервенцията към наблюдаваните резултати чрез по-добро разбиране на причините за наблюдаваните резултати и ролята на интервенцията и други вътрешни и външни фактори.

Анализът на приноса е особено полезен в ситуации, в които програмата е финансирана въз основа на относително ясно формулирана теория за промяната и където има малко или никакви възможности за промяна на начина на изпълнение на програмата. Анализът на приноса помага да се потвърди или преработи теорията за промяната. Тя не е предназначена да бъде използвана повърхностно или да разкрива имплицитна или недобре определена теория на промяната. Тя може да работи, ако има ясно дефинирани цели и намерения и ако те са ясно разгърнати, обосновани и връзката между целите и интервенциите е ясно зададена в стройно логическа рамка. Докладът от анализа на приноса не е окончателно доказателство, а по-скоро дава доказателства и разсъждения, от които може да се направят правдоподобни заключения, че с голяма доза сигурност може да се твърди, че програмата е допринесла значително за документираните резултати.

Теория на оценката на въздействието

Оценката на въздействието е непрекъснат процес на управление на социалното въздействие и развитието, който анализира ранния процес на предположение какви биха били социалните въздействия и определяне на мерки за смекчаване на последиците. Поради това целите на оценката на въздействието могат да бъдат по-тясно съгласувани с функциите на дадена организация, а не с контекста, и често са независими от регулаторните двигатели.

По-специално, оценката на въздействието надхвърля „брутните“ резултати и въздействията, породени от дадена програма, за да се определят „нетните“ ефекти, като се има предвид сценарият какво би се случило без съществуването на програма X и като се вземе предвид концепцията за допълняемост и нейните различни елементи.

Така представените методи и подходи за измерване на ефекта от обучението на обучители и анализ на промяната в личностен и организационен план са подходящ инструментариум за оценка на въздействието, ефективността и ефикасността от вложените ресурси, както и за планиране и оптимизиране на бъдещи обучения спрямо специфичните нужди на средата. Представените модели взаимно се допълват и дават възможност за пълна оценка на въздействието и постигнатата промяна в широк контекст. Приложимостта на представените методи е относително универсална и се базира единствено на допускането, че трябва да има ясни цели за промяна и добре набелязани мерки за тяхното постигане. Това прави методите подходящо средство за оценка в множество различни организации и ситуации.

REFERENCES/ЛИТЕРАТУРА

Boysen, G. A. (2015). Uses and Misuses of Student Evaluations of Teaching. Teaching of Psychology, 42(2), 109 – 118.

Brabeck, M., Dwyer, C., Geisinger, K., Marx, R., Noell, G., Pianta, R. & Worrell, F. (2014). Assessing and Evaluating Teacher Preparation Programs. Washington, DC: American Psychological Association.

Buchberger, F. (2000). Green paper on teacher education in Europe: high quality teacher education for high quality education and training.

Burke, L.A. & Hutchins, H.M. (2007). Training transfer: an integrative literature review. Human Resource Development Review, 6.

Kealey, K. A., Peterson, A. V., Gaul, M. A. & Dinh, K. T. (2000). Teacher Training as a Behavior Change Process: Principles and Results from a Longitudinal Study. Health Education & Behavior, 27(1), 64 – 81.

Lillie, D., Lubker, B., Rhodes, R. & Wyne, M. (1986). Evaluation of Teacher Training: The Master of Education Program in Special Education at the University of North Carolina at Chapel Hill. Teacher Education and Special Education: The Journal of the Teacher Education Division of the Council for Exceptional Children, 9(3), 128 – 135.

Mcdonald, L. (2011). Transfer of Training in Teacher Personal Development: a Process-Outcome Orientation. Procedia – Social and Behavioral Sciences, 29, 1885 – 1894.

Pelton, J. A. (2013). Assessing Graduate Teacher Training Programs. Teaching Sociology, 42(1), 40 – 49.

Raymond, M., Fletcher, S. & Luque, H. (2001, July). The Teach for America Evaluation: An Evaluation of Teacher Differences and Student Outcomes in Houston. Texas.

Rule, S., Fiechtl, B., Bourgeois, M. & Harrison, L. (1982). Evaluation of Teacher Training: Issues and an Example. Journal of Special Education Technology, 5(3), 37 – 42.

Wilson, S. M., Floden, R. E. & Ferrini-Mundy, J. (2001). Teacher preparation research: current knowledge, gaps, and recommendations. Center for the Study of Teaching and Policy.

Wong, P. & Wong, C. (2003). The Evaluation of a Teacher Training Programme in School Management. Educational Management & Administration, 31(4), 385 – 401.