https://doi.org/10.53656/ped2024-1s.08

Резюме. STEM базираното обучение, паралелно с безспорните си достойнства, поставя и редица предизвикателства пред педагогическите специалисти. Едно от тях е свързано с индивидуалното оценяване на учениците при изпълнение на групови задачи. Статията представя диагностичен инструмент, чрез който по обективен начин може да бъде установен индивидуалният принос на всеки от учениците, работили по дадена групова задача. Това позволява оценката на крайния групов продукт да бъде пренесена пропорционално към всеки ученик спрямо неговия принос. Представеният инструмент е разработен на базата на социометрията на Джейкъб Морено и е базиран на вътрешногрупова оценка, която учениците извършват сами. По този начин при формирането на крайната индивидуална оценка участват както учителят, така и самите ученици. Инструментът е предназначен за ученици в VIII – XII клас. Представеният вариант на инструмента е прототипен. Данни за неговата конструктивна и съдържателна валидност са получени чрез експертна оценка.

Ключови думи: STEM; оценяване; групови задачи; социометрия; индивидуален принос

1. Проблемът за индивидуалния принос при изпълнение на групови задачи при STEM базираното обучение

STEM интегрира проблемно базираното обучение с проектно базираното обучение и други в условията на екипна работа (Martín-Páez et al. 2019). Това разбиране поставя основен фокус върху екипната работа на учениците при прилагане на STEM базирано обучение. Провеждането на съвместни дейности формира не само знания и умения, пряко свързани с учебното съдържание, но допринася и за развитие на личностни компетентности у учениците.

Комуникативността и сътрудничеството са в основата на уменията, които трябва да бъдат развивани през XXI век. Те могат да бъдат формирани чрез систематично прилагане на STEM базирано обучение (Wiyono еt al. 2023). Въпреки това широкообхватно изследване, проведено в САЩ, установява, че завършващите средно училище и бакалавърски програми все още се нуждаят от развиване на своите умения за съвместна работа (Trilling and Fadel 2009).

Прилагането на екипна работа в класната стая безспорно е начин за формиране и развитие на уменията за съвместна работа у учениците. Това означава ученикът „да обединява усилията си с тези на другите, да зачита различните гледни точки и да осъзнава взаимозависимостта в междуличностното общуване“ (Ganeva 2020). По този начин техните компетентности за сътрудничество се изграждат на база учене чрез преживяване и имат възможност да придобиват непосредствен опит.

От друга страна, съвременният учител е изправен пред задачата да подбере и да интегрира в образователния процес такива форми, методи и средства за обучение, които с минимални усилия да дадат ефективен резултат (Dimitrova 2023). В практиката у нас екипната работа в клас е добре позната сред педагозите. Въпреки това тя се прилага основно в часовете за упражнения, за затвърждаване на вече придобити знания и умения (Gebhardt et al. 2015). Прилагането на STEM базираното обучение предполага работа на учениците върху екипни проекти по-продължително от времето, предвидено за упражнения. Достигането до решаване на реален проблем рядко може да се случи в рамките на един или два учебни часа. Това е сериозна пречка пред ефективността на STEM базираното обучение в българската реалност. Българските учители често използват часовете за упражнения и за да оценяват знанията и уменията на своите ученици. В този смисъл, липсата на метод за оценка на индивидуалното представяне на учениците при изпълнение на екипни задачи може да се окаже пречка за прилагането на STEM базираното обучение. Ако учителят разполага с обективен инструмент за оценка на знанията и уменията на всеки ученик при изпълнение на екипни задачи, той би могъл да отделя повече време и ресурси за внедряване на STEM базираното обучение в своите часове.

Към момента съществуват критериални диагностични инструменти за оценка степента на включеност на всеки ученик при изпълнение на групови задачи (Hermawan et al. 2017). В различните си вариации инструментът намира широко приложение, като съществуват и адаптации за начално училище (Raksapoln and Suttiwan 2021).

Подобни диагностични инструменти са базирани на метода на наблюдението. Необходимо е учителят да даде оценка по предварително заложени критерии за всеки ученик. От една страна, това позволява да се следи напредъкът на всеки ученик, но от друга – поставя въпроси, свързани с обективността на оценката. Ако бъде игнориран фактът, че този тип оценки са субективни – доколкото се извършват от един човек, то не може да се пропусне обстоятелството, че се прилага пряко наблюдение на поведението на учениците.

Наблюдението, макар и широко използвано в качеството си на педагогически метод, има значителни ограничения в изследователски контекст. Наблюдателят винаги е външен за групата, спрямо която се осъществява наблюдението, поради което не може да регистрира емоционалните релации между участниците в тяхната пълнота. Наблюдателят трябва да следи поведението на всеки един от участниците във всеки момент от изпълнението на груповата задача, което е практически невъзможно при работа с цял ученически клас. Наблюдаваните – знаейки, че са наблюдавани – променят поведението си, опитвайки се да демонстрират очакваното от наблюдателя (Bonetto, Guiller and Adam-Troian 2023).

Социометричният анализ, който е малко познат в педагогиката, но наложил се като изследователски метод в психологията, позволява оценката за индивидуалния принос на всеки ученик при STEM базирано обучение да се дава от участниците в конкретна групова задача. При социометричния анализ се оценява социалният статус на всеки от участниците в една група на база потоците симпатия и неговия индивидуален принос за ефективната работа на групата (Von Ameln and Becker-Ebel 2020). Процедурата по прилагане на социометрията е сравнително лека, предлага висока адаптивност, не изисква самоанализ от учениците, както и постоянно наблюдение по време на изпълнение на груповата задача от страна на учителя. Това прави социометрията много подходяща за прилагане в училище. Това са и основанията да бъде разработен диагностичен инструмент за оценка на индивидуалния принос на учениците при изпълнение на екипни задачи в условията на STEM базирано обучение.

2. Описание на инструмента за оценка на индивидуалния принос на учениците при изпълнение на STEM базирани групови задачи

Индивидуалният принос при изпълнение на групова задача е широкоаспектен феномен. Под индивидуален принос в настоящата разработка се разбира ролята на отделния ученик, неговата отдаденост на постигането на общата групова цел, такива, каквито са ги видели останалите членове на групата, в която е работил.

Инструментът за измерване на индивидуалния принос при изпълнение на групова задача при STEM базирано обучение се прилага непосредствено след приключване на работата по дадена екипна задача. Неговата цел е да оцени индивидуалния принос на всеки от участниците при изпълнението на задачата. Тази цел се постига чрез оценяване представянето и поведението на всеки участник в груповата задача от останалите участници, които са работили с него. Инструментът е базиран на социометрията, създадена от Джейкъб Морено.

Предложеният вариант е подходящ за ученици в VIII – XII клас, които умеят да четат и пишат. Инструментът е гъвкав и би могъл да се прилага на различни езици и в различни култури. Процедурата по прилагане включва три етапа – предварителна подготовка, измерване, обработка на резултатите.

2.1. Предварителна подготовка за прилагане на инструмента за измерване на индивидуалния принос при изпълнение на групова задача при STEM базирано обучение

Преди провеждане на измерването е необходимо да се подготвят бланки за оценка, които ще използват учениците. Бланката е универсална и е необходимо да се адаптира за всяка група. Тя съдържа име на оценяващия, списък на оценяваните (всички останали ученици от екипа) и списък с възможните оценки. Примерна бланка е показана на фигура 1. Информацията с имената на учениците от екипа и името на оценяващия може да бъде предварително попълнена от учителя или да се попълни от всеки ученик.

Оценките, които учениците дават за работата на останалите участници в екипа, могат да бъдат както чрез думи (посочените в бланката), така и чрез символи. За да бъдат използвани символи, е необходимо те да бъдат добавени срещу всяка оценка. По този начин учениците ще могат да използват своеобразна легенда при оценяването. Ако е необходимо, в бланката могат да се добавят или премахнат редове. Броят на редовете за ученици е равен на броя на участниците в екипната задача, минус едно (ученикът, който оценява).

Освен бланката преди провеждане на измерването е необходимо да се подготви и кутия, в която учениците ще поставят попълнените бланки. Важно е тя да бъде непрозрачна. За по-голямо удобство всеки екип в класа може да има собствена кутия, за да не се налага бланките да бъдат сортирани впоследствие по екипи. Напълно допустимо е бланката, както и кутията да бъдат илюстрирани и тематично свързани с предхождащата измерването задача. По този начин оценяването ще се превърне в част от хода на дейностите и няма да бъде възприемано като нещо особено или специално.

Възможно е да се използва и една кутия, в която всички ученици от класа да поставят своите бланки. В този случай е необходимо да се добавят имена на екипите, които всеки да напише на бланката си. След приключване на оценяването учителят може да сортира бланките по имената на екипите.

Измерването може да бъде проведено и чрез уеббазирани платформи за провеждане на анкетни проучвания (Google forms, Mentymeter и др.). Тогава бланката ще има вид, какъвто съответната платформа позволява. Важно е да се запазят елементите и принципите на тяхната свързаност. Ако се използват уеббазирани приложения, работата по обработване и обобщаване на данните може значително да се улесни.

2.2. Измерване на индивидуалния принос при изпълнение на групова задача при STEM базирано обучение

Измерването се извършва непосредствено след приключване на дейностите по конкретна екипна задача. Ако резултатът от задачата ще бъде оценяван с дидактична цел, измерването предхожда дидактичното оценяване. Преди измерването е необходимо да се осигури пространство за самостоятелна работа на всеки ученик и индивидуално средство за писане. Важно е учениците да бъдат разпределени по такъв начин, че всеки да вижда само своята бланка за оценяване.

На учениците се раздават бланките за оценка със следната инструкция: „Имате лист, на който всеки от вас ще даде оценка за работата на своя екип. Написани са имената на всички ваши съученици, с които работихте по по-следната екипна задача. Срещу всяко име има празно място. Там напишете своята оценка за начина, по който всеки се е представил според вас. Оценките, които можете да поставите са: 1. Дава предложения и идеи за дейността и изпълнението на задачата; 2. Участва в изпълнението на всички дейности; 3. Участва в изпълнението само на определени дейности; 4. Почти не участва в изпълнението на дейностите; 5. Игнорира това, което екипът прави. Преценете кой как се е държал най-често. Оценките можете да видите в долната част на листа. Имайте предвид, че оценката е само за това, което се е случило по време на последната ви задача. Нека това кой е ваш приятел, не влияе на мнението ви. Бъдете искрени и честни. Когато сте готови, прегънете листа на четири и го поставете в кутията. Важно е само вие да знаете какви оценки сте дали. Не ги коментирайте помежду си. Ако някой има въпрос, нека ми даде знак и аз ще отида при него, за да не пречим на останалите. Ако сте готови, нека започваме работа“.

Ако възникнат въпроси, докато учениците работят, е необходимо да се отговори на всеки индивидуално. Не бива да се допуска групово обсъждане на оценките или поведението на някого. Докато учениците попълват и поставят бланката в кутията, е необходимо да се следи за конфиденциалността на оценките. Очаквано е при първите измервания учениците да подходят с недоверие и да завишават или понижават умишлено оценките, които дават. С времето и с увереността, че учителят няма да оповести персоналните оценки, дадени от някого, обективността се повишава.

2.3. Обработка резултатите от измерване на индивидуалния принос при изпълнение на групова задача при STEM базирано обучение

След като всеки участник в екипната задача предаде попълнена бланка, данните от тях трябва да бъдат трансформирани в количествена оценка и обработени. Целта е да се достигне до крайната оценка на индивидуалния принос на всеки от участвалите ученици. За да бъде постигнато това, се извършват няколко последователни операции: преобразуване на оценките от качествени в количествени; обобщаване на количествените оценки за степента на сътрудничество; изчисляване коефициент за индивидуалния принос на всеки ученик.

2.3.1. Преобразуване на оценките от качествени в количествени

В бланката за попълване от учениците се изисква да дадат качествена оценка за поведението на своите съученици. Качествената оценка не позволява по-нататъшна количествена обработка. Поради това се налага прескалиране и приписване на количествени стойности за всяко ниво на качествената оценка (таблица 1). Количествените стойности отразяват реципрочно индивидуалния принос на всеки ученик в процеса на изпълнение на екипната задача. Всяка качествена оценка получава количествен еквивалент с различна тежест.

При по-нататъшната работа с резултатите се използват количествените еквиваленти на качествените оценки, дадени от учениците.

2.3.2. Обобщаване на количествените оценки за индивидуалния принос на всеки ученик

След като на качествените оценки бъде дадена различна тежест и те са превърнати в количествени, могат да бъдат обобщени. Обобщаването на данните за всеки екип се извършва поотделно. Използва се таблично обобщаване, базирано на социометричната матрица. Таблицата за обобщаване на данните (таблица 2) съдържа информация за всички ученици, участвали в екипа, оценките, които са поставили и съответно получили.

В първата колона и на първия ред на таблицата се записват имената на всички ученици в екипа в една и съща последователност. След това е необходимо да се нанесат всички количествени еквиваленти на качествените оценките, дадени от учениците. Това се извършва, като последователно се обработват всички попълнени бланки. Оценките, дадени от ученик 1, се вписват на първия ред. Следи се в колоната с името на съответния оценяван ученик да се впише именно неговата оценка, изразена със стойност +2, +1, 0, -1 или -2. Същата операция се повтаря с всички попълнени бланки на участници в съответния екип. Броят на колоните и редовете в таблицата за обобщаване на данните е равен и се определя от броя на учениците в екипа плюс 1 (първата колона и ред за имената на учениците).

2.3.3. Изчисляване на коефициент за индивидуалния принос на всеки ученик

Коефициентът за индивидуалния принос на всеки ученик в групата описва степента, в която конкретен ученик е участвал и допринасял за постигането на екипната цел. Той е средна аритметична от всички оценки на даден ученик. Изчислява се, като сборът от оценките в колоната на ученика (таблица 2) се раздели на общия брой на получените от него оценки (n).

Стойността на коефициента за индивидуалния принос на всеки ученик може да варира от -2 до +2. Нарастването на стойността на този коефициент отразява нарастване и на индивидуалния принос на ученика при изпълнение на груповата задача.

За удобство към таблицата за обобщаване на оценките за сътрудничество (таблица 2) може да бъде добавен последен ред, в който да се нанесат стойностите на коефициента за индивидуалния принос на всеки ученик. По този начин в колоната с името на ученика ще се съдържа информация както с получените от него оценки, така и тяхната средна аритметична стойност.

Коефициентът за индивидуалния принос на всеки ученик може да бъде използван от учители при формиране на оценките на учениците от един екип. Коефициентът, сам по себе си, не е достатъчен да поставяне на оценка, но той дава на учителя информация за това доколко крайният екипен продукт е следствие от знанията, уменията и отношението на всеки от учениците в екипа.

3. Данни за валидността на инструмента за измерване на индивидуалния принос при изпълнение на групова задача при STEM базирано обучение

Представеният инструмент за измерване степента на индивидуалния принос при изпълнение на групова задача при STEM базирано обучение е прототипен. За неговата валидност се съди от данни, получени чрез метода на експертната оценка. За експерти са поканени 18 практикуващи учители, всеки от които с не по-малко от десетгодишен педагогически стаж. Всички експерти са с магистърска степен по педагогика или предметната област, която преподават. Те са и квалифицирани за прилагане на STEM базирано обучение. 7 от тях са завършили професионално-педагогическа квалификация, а останалите 11 – краткосрочна квалификационна форма.

На експертите е представено описание на инструмента, след което са поканени да дадат оценка по 5 критерия. Оценяването се извършва по петстепенна Ликертова скала със следните възможности: „Напълно“; „По-скоро да“; „Не мога да преценя“; „По-скоро не“; „Изобщо“.

3.1. Приложимост на инструмента за ученици в VIII – XII клас

Първият критерий за оценка на инструмента се отнася до неговата приложимост за ученици в VIII – XII клас. Експертите са отговорили на следния въпрос: „Съответства ли инструментът за измерване на индивидуалния принос при изпълнение на групова задача при STEM базирано обучение на особеностите на учениците в VIII – XII клас?“. Техните отговори са представени графично в диаграмата от фигура 2.

От експертната оценка става ясно, че инструментът за измерване на индивидуалния принос при изпълнение на групова задача при STEM базирано обучение е подходящ за прилагане при ученици в VIII – XII клас. 17 от експертите са дали оценка „Напълно“, а един е избрал отговор „По-скоро да“. Никой от експертите не е избрал останалите три възможности.

3.2. Приложимост на социометричния метод за измерване на индивидуалния принос при изпълнение на групова задача при STEM базирано обучение

Най-широко използвани са инструментите за оценка на индивидуалния принос на учениците, базирани на наблюдение. Поради тази причина експертите са помолени да оценят приложимостта на социометричния метод в тази област, като отговорят на следния въпрос: „Считате ли, че социометрията, на която се базира предложеният инструмент, е приложима за измерване на индивидуалния принос при изпълнение на групова задача при STEM базирано обучение?“. Оценките на експертите са графично обобщени на фигура 3.

Тук 15 от експертите, или 83%, са напълно съгласни, че социометрията е подходящ метод за измерване на индивидуалния принос при изпълнение на групова задача при STEM базирано обучение. Двама (11%) са дали отговор „По-скоро да“ и един (6%) е отбелязал, че не може да прецени. На базата на тези данни може да се твърди, че експертите считат социометрията за подходящ метод за измерване на индивидуалния принос при изпълнение на групова задача при STEM базирано обучение.

3.3. Конструктивна валидност инструмента за измерване на индивидуалния принос при изпълнение на групова задача при STEM базирано обучение

Конструктивната (конструкт) валидност се отнася до степента, в която даден инструмент измерва конструкта, който е предназначен да мери. Поради липса на данни за външна конструктивна валидност от паралелно измерване с друг инструмент експертите са дали оценка по следния критерий: „Считате ли, че инструментът за измерване на индивидуалния принос при изпълнение на групова задача при STEM базирано обучение измерва именно индивидуалния принос на всеки от учениците в екипа?“.

Тук експертите са почти единодушни, а оценките им са представени във фигура 4.

94% от експертите, или общо 17 души, са дали оценка „Напълно“ по критерия за конструктивна валидност на инструмента. Само 1 е отбелязал „Поскоро да“. Тези данни свидетелстват, че според експертите социометричният инструмент за измерване на индивидуалния принос при изпълнение на групова задача при STEM базирано обучение притежава необходимата конструктивна валидност. С други думи, според тях той измерва именно индивидуалния принос на всеки ученик при изпълнение на групова задача.

3.4. Съдържателна валидност на инструмента за измерване на индивидуалния принос при изпълнение на групова задача при STEM базирано обучение

Съдържателната валидност се отнася до отделните айтеми в инструмента, и по-точно до това дали те отразяват в изчерпателност измервания конструкт, както и доколко са насочени към измерване на един и същ конструкт. Понеже това са два различни аспекта на съдържателната валидност, те са формулирани и като отделни критерии в картите за експертна оценка.

3.4.1. Изчерпателност на съдържанието на айтемите в инструмента По своето предназначение социометрията е създадена за измерване на отношенията между членовете на една група. Следвайки принципите на този метод, инструментът съдържа само един айтем и в този случай съществува известно припокриване между съдържателната и конструктивната валидност. Въпреки това експертите дават оценка по следния критерий: „Считате ли, че инструментът за измерване на индивидуалния принос при изпълнение на групова задача при STEM базирано обучение обхваща достатъчно широко индивидуалния принос на всеки ученик от екипа за постигане на груповата цел? Оценките на експертите по този критерий са графично обобщени на фигура 5.

Тук оценката на 16 от експертите (89%) е „Напълно“. Други двама (11%) са отбелязали „По-скоро да“. Тези данни могат да се приемат като доказателство, че инструментът за измерване на индивидуалния принос при изпълнение на групова задача при STEM базирано обучение обхваща достатъчно широко аспектите на индивидуално допринасяне на всеки ученик за постигане на екипната цел и изпълнението на груповата задача. В този смисъл, според експертите инструментът е конструиран по изчерпателен начин.

3.4.2. Консистентност на айтемите в инструмента

Последният от критериите, по които експертите оценяват инструмента, се отнася до това в каква степен айтемите отразяват различни аспекти на едно и също поведение, а именно индивидуално допринасяне за постигане на екипната цел. Инструкцията към учениците при провеждане на измерването изисква от тях да изпълнят една и съща задача към всеки от останалите членове на своя екип. По същество, няма как експертите да оценят консистентността на една повтаряща се неколкократно задача. Поради тази причина вниманието им се насочва към оценките, които учениците дават на поведението на своите съученици, и тяхната формулировка. Критерият е формулиран по следния начин: „Считате ли, че предложените варианти за оценки, които учениците дават на останалите членове от своя екип, отразяват различни степени на индивидуален принос за изпълнение на екипна задача?“.

Тук експертите са напълно единодушни, като всички 100% са отбелязали отговор „Напълно“. Това може да се интерпретира като свидетелство, че избраната скала, по която всеки ученик оценява приноса на останалите в изпълнението на екипните задачи, е подходяща от гледна точка и за целите на учителите.

4. Заключение

Представеният инструмент за измерване на индивидуалния принос при изпълнение на групова задача при STEM базирано обучение е конструиран при спазване принципите и технологията на утвърдения в психологичните измервания социометричен метод на Джейкъб Морено.

Квалифицирани учители дават висока оценка за инструмента, което може да се приеме и като предпоставка за неговата значимост за педагогическата практика. Той би могъл да подпомогне педагогическата работа в училище като предоставя на учителя информация за персоналния принос на всеки ученик при изпълнение на групови задачи. По този начин подпомага оценяването и проследяването на индивидуалното представяне на учениците в условията на екипна работа в клас.

Инструментът може да бъде прилаган както за оценка и проследяване на индивидуалния принос при STEM базираното обучение, така и при планиране състава на работните групи и екипи в процеса на обучението. Това би подпомогнало в значителна степен комплексността, като постави акцент и върху развитието на социалните компетентности, свързани с екипността при прилагане на STEM базираното обучение.

ЛИТЕРАТУРА

ГАНЕВА, З., 2020. От физическа грамотност към физическа активност. Бургас: ФЛАТ. ISBN 978-619-7125-70-2.

ДИМИТРОВА, ЗЛ., 2023. Дигитална трансформация – компетентност и креативност в детската градина и в училище. Габрово: ЕКС ПРЕС. ISBN 978-954-490-767-9.

BONETTO, E.; GUILLER, T.; ADAM-TROIAN, J., 2023. A Lost Idea in Psychology: Observation as Starting Point for the Scientific Investigation of Human Behavior. PsyArXiv, [viewed 10 July 2023]. Available from: DOI:10.31234/osf.io/9yk3n.

GEBHARDT, M.; SCHWAB, S.; KRAMMER, M.; GEGENFURTNER, A., 2015. General and special education teachers‘ perceptions of teamwork in inclusive classrooms at elementary and secondary schools. Journal for educational research online, vol. 7, no. 2, pp. 129 – 146 [viewed 10 July 2023]. Available from: DOI: 10.25656/01:11493.

HERMAWAN, Н.; SIAHAAN, P.; SUHENDI, E.; KANIAWATI, I.; SAMSUDIN, A.; SETYADIN, A. H.; HIDAYAT, S. R., 2017. Desain instrumen rubrikkemampuan berkolaborasi siswasmp dalam materi pemantulancahaya. Jurnal Penelitian &Pengembangan Pendidikan Fisika, vol. 3 no. 2, pp. 167 – 174. [viewed 10 July 2023]. Available from: DOI: 10.21009/1.03207.

MARTÍN-PÁEZ, T.; AGUILERA, D.; PERALES-PALACIOS, F. J.; VÍLCHEZ-GONZÁLEZ, J. M., 2019. What are we talking about when we talk about STEM education? A review of literature. Science Education, vol. 103, no. 4, pp. 799 – 822 [viewed 10 July 2023]. Available from: https://doi.org/10.1002/sce.21522.

RAKSAPOLN, K.; SUTTIWAN, W., 2021. Enhancing Creativity and Collaboration by Learning Management in STEM Education. Available from: DOI: 10.1109/SEA-STEM53614.2021.9667983.

TRILING, B; FADEL, C., 2009. 21st Century Skills: Learning for Life in Our Times. New Jersey: John Wiley & Sons, Inc. ISBN: 978-0-470-55391-6.

WIYONO, K.; SURY, K.; HIDAYAH, R. N.; NAZHIFAH, N.; ISMET, S., 2022. STEM-based E-learning: Implementation and Effect on Communication and Collaboration Skills on Wave Topic. Jurnal Penelitian dan Pengembangan Pendidikan Fisika, vol. 8, no 2, pp. 259 – 270.

VONAMELN, F.; BECKER-EBEL, J., 2020. Fundamentals of Psychodrama. Singapore: Springer Nature Singapore Pte. ISBN 978-9811544262.

REFERENCES

BONETTO, E.; GUILLER, T.; ADAM-TROIAN, J., 2023. A Lost Idea in Psychology: Observation as Starting Point for the Scientific Investigation of Human Behavior. PsyArXiv, [viewed 10 July 2023]. Available from: DOI:10.31234/osf.io/9yk3n.

DIMITROVA, Zl., 2023. Digital transformation – competence and creativity in kindergarten and school. Gabrovo: EKS PRES. ISBN 978-954-490-767-9.

GANEVA, Z., 2020. Ot fizicheska gramotnost kum fizicheska aktivnost. Burgas: FLAT. ISBN 978-619-7125-70-2.

GEBHARDT, M.; SCHWAB, S.; KRAMMER, M.; GEGENFURTNER, A., 2015. General and special education teachers‘ perceptions of teamwork in inclusive classrooms at elementary and secondary schools. Journal for educational research online, vol. 7, no. 2, pp. 129 – 146 [viewed 10 July 2023]. Available from: DOI: 10.25656/01:11493.

HERMAWAN, Н.; SIAHAAN, P.; SUHENDI, E.; KANIAWATI, I.; SAMSUDIN, A.; SETYADIN, A. H.; HIDAYAT, S. R., 2017. Desain instrumen rubrikkemampuan berkolaborasi siswasmp dalam materi pemantulancahaya. Jurnal Penelitian &Pengembangan Pendidikan Fisika, vol. 3, no. 2, pp. 167 – 174. [viewed 10 July 2023]. Available from: DOI: 10.21009/1.03207.

MARTÍN-PÁEZ, T.; AGUILERA, D.; PERALES-PALACIOS, F. J.; VÍLCHEZ-GONZÁLEZ, J. M., 2019. What are we talking about when we talk about STEM education? A review of literature. Science Education, vol. 103, no. 4, pp. 799 – 822 [viewed 10 July 2023]. Available from: https://doi.org/10.1002/sce.21522.

RAKSAPOLN, K.; SUTTIWAN, W., 2021. Enhancing Creativity and Collaboration by Learning MANAGEMENT in STEM Education. Available from: DOI: 10.1109/SEA-STEM53614.2021.9667983.

TRILING, B; FADEL, C., 2009. 21st Century Skills: Learning for Life in Our Times. New Jersey: John Wiley & Sons, Inc. ISBN: 978-0-470-55391-6.

WIYONO, K.; SURY, K.; HIDAYAH, R. N.; NAZHIFAH, N.; ISMET, S., 2022. STEM-based E-learning: Implementation and Effect on Communication and Collaboration Skills on Wave Topic. Jurnal Penelitian dan Pengembangan Pendidikan Fisika, vol. 8, no 2, pp. 259 – 270.

VONAMELN, F.; BECKER-EBEL, J., 2020. Fundamentals of Psychodrama. Singapore: Springer Nature Singapore Pte. ISBN 978-9811544262.