https://doi.org/10.53656/ped2025-6.08

Резюме. Все повече нараства броят на програмите за развиването на умения при деца в предучилищна и училищна възраст в България. С това се поставя въпросът дали тези програми успешно развиват уменията, за които са създадени, и постигат очакваните резултати. За да се отговори на този въпрос по емпирично издържан начин, е нужно да се оцени теоретичната рамка на програмата, ясно да се дефинират очакваните от нея резултати и да се приложи методологично издържан дизайн при оценката на нейното въздействие. Настоящата статия представя практически насоки и препоръки за дизайна на обучителни програми за деца в предучилищна и училищна възраст и оценката на тяхното въздействие.

Ключови думи: оценка на въздействието; програми; деца; развиване на умения

Въведение

През последните две десетилетия все по-актуални стават програми за развиване на умения при деца в предучилищна и училищна възраст (Denham et al. 2010). Това са не само програми, насочени към специфични групи деца (деца с дефицити в развитието, деца билингви и др.), но и т.нар. „универсални програми“, предназначени за всички деца и целящи развитието на различен тип умения (напр. езикови, социални и емоционални), което да подпомогне цялостното им психично развитие и функциониране. Този процес е в ход и у нас, като са налице както превод и прилагане на чуждоезикови програми, така и създаване на такива програми. Множество метаанализи отчитат значителни ползи при децата в резултат на участието им в подобни програми (Durlak & Mahoney 2019; Taylor et al. 2017; Wiglesworth et al. 2016). За да отчитаме подобни ползи обаче, е необходимо да обърнем внимание на няколко ключови елемента. Част от съществените характеристики на „работещите“ програми е те да се основават на ясна теоретична рамка; да имат ясни цели за уменията, които ще се развиват; ясна структура и детайлно разписани занятия; да са относително продължителни, развиването на умения изисква време; да има оценка на ефективността и др. В случай че се прилагат преводни програми, от една страна, е важно да се отчете в каква степен те отговарят на подобни характеристики. От друга страна, трябва да се отбележи, че е от съществено значение, когато се превежда чужда програма, тя да бъде адаптирана за съответния контекст, в който ще се прилага. Когато програмата е разработена на местно ниво, няма сведения по отношение на нейната ефективност и ползи до момента на нейното оценяване. Както отчита Denham (2015), прилагането на програма и нейното оценяване са неразривно свързани. И в двата случая има нужда от оценка на валидността на програмите, т.е. да се провери дали и ако да, в каква степен се постигат заложените цели, свързани с развитието на конкретни умения у децата. В практиката невинаги се следи за въздействието на програмите, които се прилагат с деца. Това значително затруднява преценката по отношение на това каква е степента на ефективност, в каква степен е подпомогнато развитието на децата, какви умения са развити и доколко. Или като цяло, програмата „работи“ ли, допринася ли за развитието на уменията, които са заложени да се развиват, оправдани ли за изразходваните ресурси – финансови, времеви, човешки.

Цел на статията

Да се представят ключови характеристики на дизайна на ефективни програми за развиване на умения при деца в предучилищна и училищна възраст и да се дадат препоръки и насоки за методологично издържани практики при оценка на въздействието им.

Условия за дизайна и прилагането на програми за развиване на умения при деца в предучилищна и училищна възраст

Тук се представят основните характеристики на ефективни програми за деца от гледна точка на разработката на самите програми, целите, които си поставят, и условията, при които се прилагат, без дa се правят препоръки за конкретно съдържание.

Програма и подготовка

При дизайна на програма, която цели да развие конкретно умение при деца в определен период от тяхното развитие, е нужна задълбочена теоретична обосновка какъв е механизмът на въздействието или по какъв конкретен начин се предполага, че дадената програма ще проработи. Например, ако целта на програмата е да увеличи речниковия запас (броя думи, които се използват и/или разбират) на определена група деца, и методът, който се използва, е ежеседмично децата да участват в разиграване на приказки в час на класа, тогава трябва да се аргументира с подкрепа от предишни изследвания и/или теоретични модели как и защо разиграването на случки би подпомогнало децата да научат повече думи.

На етап теоретична обосновка на програмата е уместно да се разгледа дали програмата, както е замислена, има екологична валидност. Екологичната валидност най-общо показва дали уменията, които се преподават и усвояват в контекста на прилагането на програмата, реално биха се използвали от децата в тяхното ежедневие извън програмата (Kaplan & Saccuzzo 2013). Например, ако дадена програма учи децата как да разрешават проблеми в общуването с връстниците си чрез разиграване на случки с терапевт в специализирана клиника, дали тези деца ще използват придобитите умения за разрешаване на такива проблеми, когато те възникнат с връстници по време на междучасие в училище.

Като част от обосновката на програмата, също трябва да се аргументира продължителността1 (В какъв период се прилага?) и честотата ѝ (Колко често се прилага?). Например има ли емпирично и/или теоретично основание да се смята, че програма, която се провежда за един час всеки месец в продължение на 3 месеца, ще има положително въздействие върху уменията на децата? Или програма, която се провежда всеки ден по 15 минути в продължение на един учебен срок? Според уменията, които програмата цели да подобри и развие, може да се търси конкретна литература на тема промяна на поведението и/или дори промяна на ниво функциониране на нервната система.

След като програмата има ясно обяснен механизъм на въздействието и аргументирана продължителност и честота, следващата стъпка е да се дефинират мерките на промяна, които ще се използват при оценката на нейното въздействие. Например, ако програмата цели да развие социално-емоционалните умения на децата, какво точно ще се измерва, за да се оцени промяната в тези умения. Социални и емоционални умения е доста широко понятие. Важно е да се дефинират тези умения, които са заложени в програмата за развитие, след което да се помисли как те могат да бъдат измерени. Процесът на практическото дефиниране на начина за оценяване се нарича операционализация (Cohen & Swerdlik 2018; Kaplan & Saccuzzo 2013). В случая със социално-емоционалните умения, ако в програмата е заложено развиването на умението за разпознаване на емоции, то за измерването му може да се използват подходящи за целта стимули на емоции, които детето да разпознава (картинки на лица, снимки). В този смисъл, още при дизайна на програмата и дефинирането на целите ѝ се залагат основите на методологично издържаната ѝ оценка на въздействието.

Прилагане на програмата

Като част от подготовката на програмата и разработването на материалите, е важно да се планира и какво включва обучението на прилагащите програмата1. Има най-различни възможности за обучение, като онлайн видеа и материали за самоподготовка, практически обучения на живо, хибридни обучения, които включват самоподготовка и практически сесии, и други. Форматът и интензивността на обучението трябва да са съобразени както с методиките на програмата, така и с уменията, знанията и опита на обучаващите се. Липсата на адекватно обучение би компрометирала ефективното прилагане на програмата.

Освен обучението на прилагащите програмата разработващите дадена програма е редно да предвидят как ще се проследява качеството на нейното прилагане1. По-конкретно, да се отговори на въпроса доколко прилагащите програмата следват нейните правила и методики както са били обучени. От голямо значение е да се проверява качеството на прилагането спрямо колко пъти обучените са провели програмата и колко време е минало от тяхното обучение. От една страна, е възможно с всяко провеждане на програмата прилагащите я да стават все по-умели в спазването на методиките. От друга страна е възможно с течение на времето да се забрави част от преподадения първоначално материал или да се загубят теоретични знания и/или умения, придобити преди дълъг период (пр. година или повече). В този смисъл, проверка на качеството на прилагането на програмата и предварително заложени опреснителни обучения може да е от изключително значение за това дали програмата ще е ефективна, или не.

Общи принципи и насоки за провеждане на оценка на въздействието След като дадена програма е разработена, теоретично обоснована, планирани са обучението на специалистите и проследяването на качеството на нейното прилагане, следващата стъпка е провеждането на самата програма и извършването на оценка на нейното въздействие. В тази част ще бъдат описани по-подробно основните принципи за провеждането на методологически издържана оценка на въздействието от гледна точка на участници, инструменти и събиране и анализ на данни.

Дизайн на изследването

Има различни варианти за дизайна на изследването за оценка на въздействието на дадена програма за развиване на умения. Тук са представени три основни варианта. Първият е изследване тип преди – след (Berk 2013; Keil 2014). При този дизайн се събират данни преди началото на програмата и след нейния край. Трябва да се използват един и същ инструмент за оценка или паралелни форми на един инструмент, за които предварително има информация за психометричните им характеристики (напр. картинките да са различни, но инструкциите и трудността да са еднакви). Това е задължително, за да може да се прави сравнение в резултатите. Когато тестовете са различни и/или измерват различни конструкти, не може да се правят директно сравнение и изводи за промяната у децата, а след това се сравняват резултатите на участниците. Важно е да се отбележи, че този дизайн не позволява да се правят каузални заключения за ефективността на програмата, защото промяната в резултатите на участниците може да се дължи на редица фактори, включително изминаването на време (напр. 3, 6, 9 месеца) между измерванията или нещо друго, за което не се контролира в изследването.

Надграждане на преди – след дизайна е включването на контролна група. Като трябва да се определи какво ще прави тази контролна група: дали няма да участва в никаква програма, ще бъде включена в програмата след прилагането ѝ с контролната група или ще участва в различна програма, чийто ефект/ въздействие е вече проучен/о (Berk 2013; Keil 2014). Включването на ясно дефинирана контролна група от участници позволява да се контролира за фактора време като потенциално въздействие върху резултатите на участниците. Например, ако програмата цели да подобри езиковите умения на деца на 3-годишна възраст в рамките на една календарна година, то подобряване на езиковите умения на участниците в експерименталната група, която участва в програмата, може да се дължи на естествените развитийни промени в рамките на една година от живота на децата. В този случай включването на контролна група, която не минава през програмата и чиито езикови умения са измерени в началото и в края на проекта, ще позволи да се оцени промяната в уменията на децата, която се дължи на тяхното ежедневие.

Още едно надграждане към дизайна е т.нар. рандомизирано контролирано изследване (randomized control trial). При това изследване има измерване преди – след, има контролна група и участниците се разпределят в експерименталната (участващата в програмата) и контролната група на случаен принцип. Освен това може да се използва double blind процедура, при която нито оценителите на програмата, нито родителите/учителите/децата знаят дали са в експерименталната, или в контролната група. По този начин се намалява субективността при оценяването както у самите оценители, така и у родителите/ учителите/децата и тяхното отношение към участието им в изследването.

Участници

При подбора на участници в дадена програма, особено когато се прави оценка на нейното въздействие, има няколко основни принципа, които е препоръчително да се следват. Първият е да се прилага програмата с участници, за които е създадена. Например, ако програмата е разработена за деца в предучилищна възраст, да се прилага с деца в предучилищна възраст, а не с тийнейджъри. Ако програмата се прилага с друга група, то е редно да се обоснове защо програмата би била ефективна с тази различна група. В случай че се налага програмата да бъде приложена с друга целева група, необходимо е тя да бъде адаптирана. В идеалния случай участниците следва да са представителна извадка на групата, за която е създадена програмата. Като представителността е спрямо характеристиките на участниците, които са релевантни за уменията, които програмата цели да развие.

Освен характеристиките на участниците от значение е и техният брой. Броят на участниците трябва да е съобразен както с контекста и ресурсите на програмата, така и със статистическите анализи, които се планират за оценката. Така например, ако дадена програма включва малък брой участници, това би представлявало значително ограничение за типа статистически анализи, които могат да се приложат, и за генерализирането на изводите, които могат да се направят.

Броят на участниците върви и ръка за ръка с разпределянето им в експериментална и контролна група. Когато се прави оценка на въздействието, чийто дизайн включва група, която преминава през програмата, и контролна група, която не преминава през програмата или минава през друга програма, то е особено важно участниците да бъдат разпределени в двете групи на случаен принцип и да няма разлики в техните характеристики, които са релевантни за програмата (напр. възраст, пол, начално ниво на уменията, които ще се подобряват и др.).

Дизайн на оценката

Планът за оценката на въздействието следва да бъде заложен при планирането на провеждането на програмата и методологичната издържаност на тази оценка се определя откога, кой и как (с какви инструменти се) прави тази оценка.

Кога?

При планиране на оценката се определя кога ще се извърши събирането на данните. Обикновено, за да може да се направи оценка дали има промяна в уменията на участниците, данни трябва да се съберат преди началото на програмата, за да могат да служат като отправна точка за сравнение. След това, според дизайна на програмата, могат да се събират данни по време на нейното провеждане (напр. по средата), непосредствено след приключването ѝ и/или някакъв определен период след нейния край. Като събирането на данни месец, три месеца, година или повече след края на програмата е особено подходящо, ако програмата се очаква да има дългосрочен ефект върху уменията на участниците, а не само краткотрайна промяна непосредствено след протичането на програмата.

Как?

Как се извършва оценката, която включва конкретните методи за събиране на данни. Те могат да бъдат качествени (фокус групи, интервюта, някои видове наблюдения) и количествени (въпросници, тестове, анкети, езикова извадка, експерименти и други (Berk 2013; Keil 2014). При избора на метод за оценка би следвало да се отчете кой ще е най-подходящ с оглед на програмата, нейното приложение, групи, уменията, които се развиват (Saklofske et al. 2013; Vance 1988). В случай че се ползват количествени инструменти, трябва задължително да се вземе предвид дали тези, които са избрани, измерват умения, които развиваме; подходящи са за групите, с които се работи (деца, родители, учители); имат предварително определени психометрични характеристики, които да са удовлетворяващи (Kaplan & Saccuzzo 2013). Например, ако целевото умение е речта на децата и мярката за промяна е броят думи, които детето използва в ежедневието си, то тогава трябва да се избере инструмент, които е най-подходящ да измери броя думи (пр. въпросник за родителя за думите, които използва детето му, или събиране на езикова извадка, която се кодира за броя думи на детето, или директен тест за речниковия запас на детето).

Така подбраните инструменти се очаква да измерват конкретно целевите умения на програмата. Освен това трябва да се провери дали тези инструменти са подходящи за използване с участниците в програмата спрямо техните характеристики (напр. възраст, роден език или друга ключова характеристика (Saklofske et al. 2013). Ако се използват инструменти, създадени за друг език или култура, трябва предварително да бъдат направени превод и адаптация за съответния контекст, в който ще се прилагат, преди да бъдат прилагани в оценка на въздействието (Hernández et al. 2020). И не на последно място, трябва да се разгледат внимателно характеристиките на инструмента и дали те позволяват той да бъде използван през периода, който е заложен в оценката. Например може ли езиков тест да се използва преди и след програма, която продължава един месец? Това се определя от психометричните свойства на инструмента. Обикновено повечето инструменти в ръководствата си съдържат и препоръки кой може да прилага инструмента и през какви обучения/сертифициране трябва да премине. Начинът на прилагане на съответен инструмент без необходимите умения за това може в значителна степен да компрометира събраните данни и да се получи доста „изкривена“ картина по отношение на оценката на въздействие, която се прави. Ако инструментът, който ще се прилага, изисква подготовка за администриране, трябва тези, които ще го прилагат, да бъдат добре запознати, подготвени и обучени. Това ще гарантира валидност на събраните данни.

Кой?

Кой извършва оценката на въздействието на програмата, може да бъде от определящо значение за качеството и валидността на резултатите (Saklofske et al. 2013). По-конкретно, важно е да се обърне внимание дали има конфликт на интереси, като човекът, който прави оценката, е този, който има финансов или друг интерес от това резултатите от оценката да са в полза на ефективността на програмата. Друг интерес може да се изразява в това, ако човекът, който е провеждал програмата, е и този, който събира данните за оценката, то инвестицията във времето и ресурсите около програмата може съзнателно или не да повлияе на начина му на събиране на данни. Отвъд конфликта на интереси, чисто методологично човекът, който събира данните в идеалния случай не трябва да е създателят на програмата, не трябва да е този, които е провеждал програмата, и още по-важно – не трябва да знае статуса на участниците (дали са били в експериментална, или в контролна група, ако това е част от дизайна на оценката). Спазването на тези препоръки намалява субективността на оценката. Освен това след избора на оценител е подходящо той/тя да бъде инструктиран в детайли, а понякога дори обучен, ако методологията и избраните инструменти изискват това. Важно уточнение е, че който и да извършва оценката, следва да няма достъп до резултатите на участниците, т.е., когато събира данни след края на програмата, да не вижда резултати от събирането на данни преди програмата, защото това може да повлияе на неговата/нейната обективна оценка.

Анализ и изводи

При обработката на резултатите е важно данните да бъдат анонимизирани. Да не се споделя идентифицираща и/или лична информация, като име, дата на раждане, местоживеене, статус на СОП и др., с лица извън програмата.

След събирането на данните идва и техният анализ. Видът събрани данни и тяхното количество определят и често ограничават видовете анализи, които могат да се правят. Важно е разграничаването между описателни статистики (средни стойности, разпределение, минимум и максимум) и инференциални анализи. Понякога описателното представяне на данните и изборът на графики може да са подвеждащи и реално да няма значима разлика в представянето на децата. Целите на оценката, дизайнът ѝ и направените статистически анализи са факторите, които определят обхвата и генерализираността на изводите, които могат да се изведат. Особено внимание е подходящо да се обърне на правенето на изводи за причинно-следствени връзки. Дизайни, които са тип преди – след, при които липсва контролна група, при които няма независим оценител на взаимодействието, при които не са избрани инструменти, които са подходящо адаптирани и позволяват да бъдат използвани във времевите ограничения на програмата, и анализи, които са корелационни, не позволяват да се правят изводи за това дали програмата е това, което е довело/причинило промяната в уменията на децата.

Заключение

За да може да се направи обективна оценка на ефекта на приложена конкретна методика, е важно да има 1) теоретична обосновка на съдържанието на програмата и на прилаганите стратегии за научаването на нови умения; 2) ясно дефинирани умения, които се залагат в програмата за развитие; и 3) методологично издържан дизайн на оценката, който да включва подходящи инструменти, контролни групи и външно оценяване. Липсата на тези три компонента значително ограничава възможността да се оцени има ли и какъв е ефектът от прилагането на методиките по програмите. Целта е изложените тук насоки и препоръки да са от полза за специалисти и практици при прилагане и оценяване на въздействието на програми за развитието на умения при деца в предучилищна и училищна възраст.

БЕЛЕЖКИ

1. CASEL (Collaborative for Academic, Social, and Emotional Learning), 2020. Evidence-Based Social and Emotional Learning Programs: CASEL Criteria Updates and Rationale, https://casel.org/wp-content/uploads/2021/01/11_CASELProgram-Criteria-Rationale.pdf.

2. DURLAK, J. A. & MAHONEY, J. L., 2019. The practical benefits of an SEL program. CASEL. https://casel.s3.us-east-2.amazonaws.com/Practical-Benefits-ofSEL-Program.pdf

3. DENHAM, S. A. & HAMRE, B., 2010. Compendium of preschool through elementary school socialemotional learning and associated assessment measures.

ЛИТЕРАТУРА

КАПЛАН, Р. М. & САКЪЗО, Д. П., 2013. Психологическо тестиране. Принципи, приложения и проблеми. София: Изток-Запад. ISBN: 978-619-152-180-7.

COHEN, R. & SWERDLIK, M. E., 2018. Psychological testing and assessment: an introduction to tests and measurement.New York, N.Y.: McGraw-Hill Education. ISBN-13: 978-0078035302.

DENHAM, S. A., 2015. Assessment of social-emotional learning in educational contexts. In: J. DURLAK, R. W. WEISSBERG, AND T. P. GULLOTTA (EDS.). The handbook of social and emotional learning. New York: Guilford Press.

DURLAK, J. A.; DOMITROVICH, C. E.; WEISSBERG, R. P.; GULLOTTA, T. P.; SHRIVER, T. P.; BUFFETT, J.; DARLING-HAMMOND, L., 2016. Handbook of Social and Emotional Learning: Research and Practice. New York: The Guilford Press.

HERNÁNDEZ, A.; HIDALGO, M. D.; HAMBLETON, R. K. & GÓMEZ-BENITO, J., 2020. International Test Commission guidelines for test adaptation: A criterion checklist. Psicothema, vol. 32, no. 3, pp. 390 – 398. Available from: https://doi. org/10.7334/psicothema2019.306.

MAHONEY, J. L.; WEISSBERG, R. P.; GREENBERG, M. T.; DUSENBURY, L.; JAGERS, R. J.; NIEMI, K.;YODER, N., 2021. Systemic social and emotional learning: Promoting educational success for all preschool to high school students. The American Psychologist, vol. 76, no. 7, pp. 1128 – 1142. Available from: https://doi.org/10.1037/amp0000701.

SAKLOFSKE, D. H.; REYNOLDS, C. R., & SCHWEAN, V. L., 2013. The Oxford Handbook of Child Psychological Assessment. Oxford University press.

TAYLOR, R.; OBERLE, E.; DURLAK, J.A.; WEISSBERG, R.P., 2017. Promoting positive youth development through school-based social and emotional learning interventions: A meta-analysis of follow-up effects. Child Development, vol. 88, no. 4, pp. 1156 – 1171. Available from: https://doi.org/10.1111/cdev.12864.

VANCE, H. B., 1988. Psychological assessment of children: Best practices for school and clinical settings. Wiley.

WIGLESWORTH, M.; LENDRUM, A.; OLDFIELD, J.; SCOTT, A.; TEN BOKKEL, I.; TATE, K.; EMERY, C., 2016. The impact of trial stage, developer involvement and international transferability on universal social and emotional learning programme outcomes: A meta-analysis. Cambridge Journal of Education, vol. 46, no. 3, pp. 47 – 376. Available from: https://doi.org/10.1080/0305764X.2016.1195791.

REFERENCES

COHEN, R. & SWERDLIK, M. E., 2018. Psychological testing and assessment: an introduction to tests and measurement.New York, N.Y.: McGrawHill Education. ISBN-13: 978-0078035302.

DENHAM, S. A., 2015. Assessment of social-emotional learning in educational contexts. In: J. DURLAK, R. W. WEISSBERG, & T. P. GULLOTTA (EDS.). The handbook of social and emotional learning. New York: Guilford Press.

DURLAK, J. A.; DOMITROVICH, C. E.; WEISSBERG, R. P.; GULLOTTA, T. P.; SHRIVER, T. P.; BUFFETT, J.; DARLING-HAMMOND, L., 2016. Handbook of Social and Emotional Learning: Research and Practice. New York: The Guilford Press.

HERNÁNDEZ, A.; HIDALGO, M. D.; HAMBLETON, R. K. & GÓMEZBENITO, J., 2020. International Test Commission guidelines for test adaptation: A criterion checklist. Psicothema, vol. 32, no. 3, pp. 390 – 398. Available from: https://doi.org/10.7334/psicothema2019.306.

KAPLAN, R. M., & SACCUZZO, D. P., 2013. Psihologichesko testirane. Printsipi, prilozheniya i problemi. Sofia: Iztok-Zapad [In Bulgarian]. ISBN: 978-619-152-180-7.

MAHONEY, J. L.; WEISSBERG, R. P.; GREENBERG, M. T.; DUSENBURY, L.; JAGERS, R. J.; NIEMI, K.;YODER, N., 2021. Systemic social and emotional learning: Promoting educational success for all preschool to high school students. The American Psychologist, vol. 76, no. 7, pp. 1128 – 1142. Available from: https://doi.org/10.1037/amp0000701.

SAKLOFSKE, D. H.; REYNOLDS, C. R., & SCHWEAN, V. L., 2013. The Oxford Handbook of Child Psychological Assessment. Oxford University press.

TAYLOR, R.; OBERLE, E.; DURLAK, J.A.; WEISSBERG, R.P., 2017. Promoting positive youth development through school-based social and emotional learning interventions: A meta-analysis of follow-up effects. Child Development, vol. 88, no. 4, pp. 1156 – 1171. Available from: https://doi.org/10.1111/cdev.12864.

VANCE, H. B., 1988. Psychological assessment of children: Best practices for school and clinical settings. Wiley.

WIGLESWORTH, M.; LENDRUM, A.; OLDFIELD, J.; SCOTT, A.; TEN BOKKEL, I.; TATE, K.; EMERY, C., 2016. The impact of trial stage, developer involvement and international transferability on universal social and emotional learning programme outcomes: A meta-analysis. Cambridge Journal of Education, vol. 46, no. 3, pp. 47 – 376. Available from: https://doi.org/10.1080/0305764X.2016.1195791.