Резюме. През учебната 2014/2015 година България отново ще участва в редица международни изследвания в областта на образованието. Освен две основни изследвания – PISA и TIMSS, през тази година ще бъдат проведени и пилотни проучвания по други две – PIRLS и ICCS.
Новото за PISA 2015 е, че ще се проведе изцяло в електронен формат посредством компютърно базиран тест за разлика от всички предходни етапи на програмата. В теста ще бъде включен и нов модул, измерващ уменията на учениците за екипно решаване на проблеми. TIMSS ще измерва знанията на учениците от IV до VIII клас в областта на математиката и природните науки. Резултатите от PISA 2015 и TIMSS 2015 ще бъдат обявени в края на 2016.

Ключови думи: students literacy, skills, TIMSS, PIRLS, PISA, ICCS, computerbased test

Центърът за контрол и оценка на качеството на училищното образование (ЦКОКУО) е координатор на редица международни изследвания в областта на образованието. Всяко изследване е насочено към конкретна възраст и област/предмет на оценяване и има различна специфика, но има общи характеристики за всички изследвания.

Всички изследвания се реализират от международен консорциум, който е отговорен за разработването на надежден инструментариум и изпълнява строги процедури при неговото създаване. За всяко отделно изследване организациите, които участват в консорциума, са различни – международно признати в областта на оценяването и статистиката. Освен книжки с тестови задачи в съответната област всяко изследване е придружено и от контекстуални въпросници за средата, които се попълват винаги от учениците и от директорите на училището. В някои изследвания има допълнителни въпросници, които се попълват от учители и/или родители. Събраната информация от въпросниците е изключително важен елемент при интерпретиране на резултатите от тестовете. Националните координатори, какъвто е ЦКОКУО, имат важната роля да изпълнят всички стандарти на съответното изследване, за да може да се гарантира обективност и коректност на данните. Всяко изследване има различна периодичност на провеждане, важен елемент е сравнимостта на данните между различните цикли и изработването на процедури, които да осигуряват валидността на изследването. Една от тези процедури е използването на група от едни и същи задачи във всеки следващ цикъл на даденото изследване.

Основите етапи от реализирането на дадено изследване и отговорните за това са:

– разработване на рамката за оценяване – международен консорциум;

– разработване на тестови задачи и контекстуални въпросници за средата – международен консорциум;

– изготвяне на извадка за пилотното изследване – международен консорциум;

– провеждане на пилотното изследване с около 1500 ученици в държава, което цели да провери доколко са качествени тестовите задачи и контекстуалните въпросници и има ли необходимост от промяна или изключване на „неработещи“ задачи – национален координатор;

–изготвяне на извадка за същинското изследване – международен консорциум;

– провеждане на същинско изследване с извадка от около 4500 – 5000 ученици – национален координатор;

– оценяване на отговорите, въвеждане на данните, обработка на данните – националният координатор по строго описани правила за оценяване на тестовите задачи и процедури, разписани от международния консорциум;

– анализ на резултатите и публикуване на международен доклад година и половина след провеждане на основното изследване – международен консорциум;

– публикуване на национален доклад с резултатите за България – ЦКОКУО.

Обикновено резултатите се представят чрез скàла със средна стойност от 500 точки и със стандартно отклонение 100 точки. Въпреки че след публикуването на резултати от дадено изследване най-голям обществен интерес предизвиква т. нар. класация на държавите, нека да отбележим, че международните изследвания не са със състезателна цел. Интересът към това с колко места в класацията сме се преместили нагоре или надолу (а все пак да не забравяме, че това зависи и от броя на участващите страни, който обикновено нараства с всеки изминал цикъл), би трябвало да е заменен от това кои са областите, в които нашите ученици показват слаби резултати и как може да се промени това.

През учебната 2014/2015 година България отново ще участва в редица изследвания.

Основни изследвания

PISA 2015

Програмата за международно оценяване на учениците (PISA) е част от дългосрочен проект на Организацията за икономическо сътрудничество и развитие (ОИСР) за изработване на индикатори за качество на образованието. Началото є е поставено през 1997 г. Днес тя е едно от най-авторитетните международни сравнителни изследвания на постиженията на учениците.

Програмата оценява 15-годишните ученици, като основната є цел е да определи доколко учениците в края на задължителното училищно образование са придобили познания и умения, които биха им позволили успешно да се конкурират на трудовия пазар и биха били основа за пълноценна лична и професионална реализация. PISA оценява постиженията на учениците чрез обща международна рамка в три познавателни области: функционална грамотност по четене, математика и природни науки.

До този момент България е участвала в PISA 2000+, 2006, 2009 и 2012. ЦКОКУО е координатор на изследването от 2006 година, трите доклада с резултатите от участието на българските ученици са публикувани на уеб страницата на Центъра – www.ckoko.bg.

В PISA 2015 ще участват 76 държави. В България основното изследване ще бъде проведено в периода от 6 април 2015 до 15 май 2015 г. Очакваме в извадката да бъдат включени около 200 училища от цялата страна с около 5400 ученици. Целевата група на изследването през 2015 г. са учениците, родени през 1999 г. От всяко училище ще участват най-много 42 ученици, избрани на случаен принцип сред всички ученици от целевата група (ако броят им е по-голям). Ако броят на учениците от целевата група в едно училище е 42 или по-малък, в изследването участват всички ученици.

Новото за PISA 2015 е, че се провежда изцяло в електронен формат по-средством компютърно базиран тест за разлика от всички предходни етапи на програмата. Тестовите инструменти – в това число тест и въпросници – се администрират посредством специална платформа, разпространявана чрез USB устройство. Необходимият брой USB устройства ще бъде осигурен от ЦКОКУО.

Акцентът на PISA 2015 са природните науки. Задачите по природни науки преобладават в теста. Включени са обаче и по-малък брой задачи за измерване на математическата и четивната грамотност на учениците, чрез които се анализират промените и тенденциите в тяхната подготовка през годините.

За първи път през 2015 г. в теста ще бъде включен и нов модул, измерващ уменията на учениците за екипно решаване на проблеми. Той включва интерактивни задачи, при които ученикът – заедно с няколко виртуални партньори, трябва да реши ясно описан проблем. Възможностите на ИКТ позволяват да се използват различни анимации, симулации, чат, изпращане на имейли и други форми на общуване, чрез които се пресъздава автентична житейска ситуация.

PISA разглежда екипното решаване на проблеми като необходимо умение не само в училище, но и на пазара на труда. Представяме малка част от рамката за оценяване – PISA Draft Collaborative Problem Solving Framework (www. oecd.org.pisa, March 2013), за да се опитаме да изясним концепцията на областта екипно решаване на проблеми и как тя се е развила от 2003 година.

През 2003 година в рамката за оценяване на PISA 2003 Assessment Framework: Mathematics, Reading, Science and Problem Solving Knowledge and Skills (OECD, 2003) компетентностите за решаване на проблеми бяха определени така: способностите на индивида да използва когнитивни процеси, за да разреши реални, интердисциплинарни проблеми, при които пътят към решаването им не е очевиден и при които може да бъде приложено знание не само от една от предметните области – математика, природни науки и четене.

През 2012 година дефиницията за областта на оценяване решаване на проблеми в голяма степен повтаря дефиницията от 2003, но добави един много важен елемент: „…способността на ученика да използва познавателни умения, за да разбере и реши проблеми, при които подходът за намиране на решението не е очевиден. Тя включва също така и готовността на учениците да се ангажират с решаването на проблема от позицията на конструктивни и мислещи граждани“.

През 2012 година областта „решаване на проблеми“ беше дефинирана по-скоро като умение, което индивидът трябва да прилага сам и в ситуации, при които решението на проблема не е очевидно. При екипното решаване на проблеми група от индивиди обединяват своите разбирания, усилия и работят заедно, за да решат дадена проблемна ситуация. Съвместната работа или сътрудничеството има важни предимства пред индивидуалното решаване на проблем, защото позволява:

– ефективно разделяне на труда;

– комбиниране на информация от различни ресурси на знанието, перспективи и опит;

– поощряване на творчеството и повишаване на качеството на възможните решения, стимулирани от идеите на другите членове в групата.

За PISA 2015, към предните версии в дефинирането на областта „Екипно решаване на проблеми“, най-значимо е прибавянето на аспекта на сътрудничеството. Така че в определението за 2015 г. акцентът е върху екипната работа.

За целта на изследването PISA дава следното определение на екипното решаване на проблем: „Екипното решаване на проблем е способността на индивида ефективно да обедини в общ процес опитите на двама или повече участници да решат проблема, като споделят разбирането и усилията, които са необходими, за да се достигне до решение, и обединят своите умения в постигането на това решение“.

В PISA 2015 способността за екипно решаване на проблеми е на уменията за съвместна работа с уменията, необходими за решаване на лем, като сътрудничеството има водеща роля.

Следващите редове са опит за изясняване на дефиницията за екипно ване на проблеми.

Способността на индивида – уменията за работа в екип могат да оценявани на индивидуално, групово или организационно ниво (Campbell, 1968; Dillenbourg, 1999; Fiore et al., 2010; Stahl, 2006). Предимството на екипността е в това, че резултатът от груповото решаване на даден проблем може да е по-добър от сбора от предложенията за решаване на проблема от всеки отделен индивид. И за целите на PISA фокусът е върху способността на индивида да действа специално в ситуации, изискващи сътрудничество. Ефективността при екипното решаване на проблеми зависи от способността на членовете на групата да си сътрудничат и да дадат приоритет на успеха на групата пред своя собствен. В същото време тази способност е характеристика за всеки отделен член на групата.

... ефективно да обедини в общ процес – екипното решаване на проблем включва когнитивния процес на индивида, в който са ангажирани и когнитивните, и социалните умения. Има индивидуален процес за решаване на проблеми, така както и комуникативен процес, който взаимодейства с когнитивните системи на другите участници в екипа. Например групата не само трябва да достигне до вярното решение, но и да постигне съгласие, че това е вярното решение. Фокусът на оценяването ще бъде върху когнитивните и социалните умения, свързани с екипното решаване на проблеми.

Когнитивните процеси, използвани в екипното решаване на проблема, са вътрешни за индивида, но те също се проявяват и във взаимодействието на индивида както с проблема, така и с другите от групата. Така че когнитивният процес може да бъде уловен от действията, извършвани от индивида, начина му на общуване с другите, междинните и крайните продукти от поставените задачи за решаване на дадения проблем и дейностите, свързани с решаването на проблема. С други думи, измерването на умения за екипно решаване на проблем не е само предизвикателство, сравнимо с измерването на индивидуалните умения, но също и огромна възможност да могат да се наблюдават когнитивните процеси, които са използвани от всички членове на екипа.

... опитите на двама или повече участници – сътрудничеството изисква взаимодействие между двама или повече участници. Думата „участници“ включва в себе си или друг човек, или участник, който е симулиран компютърно. И в двата случая, участникът има способността да генерира цели, да изпълнява действия, да изпраща съобщения, да отговаря на съобщения на другите участници, да схваща посланията в тях, да се адаптира към променящи се среди и да се учи (Franklin & Graesser, 1996). Успехът на уменията за екипно решаване на проблем може да бъде наблюдаван както на индивидуално, така и на групово ниво. Дори когато наблюденията са на индивидуално ниво, те насочват към действията и взаимодействията на индивида в контекста на това да се сподели представянето или общата цел с поне още един друг участник, за да има сътрудничество. Така че дефиницията налага изискването за минимум двама участници.

…да решат проблема – измерването се фокусира най-вече върху съвместните действия, с които са ангажирани учениците, докато се опитват да разрешат даден проблем, а не само върху конкретното правилно решение на проблема. Основният конструкт на изследването дава повече тежест на процесите на сътрудничество, отколкото на решаването на проблемите.

…като споделят разбирането и усилията, които са необходими, за да се достигне до решение – сътрудничеството може да бъде наблюдавано само когато членовете на групата се стремят да изградят и да поддържат единно разбиране за поставената задача и начините за нейното решаване (Clark, 1996; Clark & Brennan, 1991; Fiore & Schooler, 2004). Единното разбиране се постига чрез построяване на обща основа с помощта на комуникацията и взаимодействието, разбиране на индивидуалната роля на всеки, разбиране на способностите и възможностите на членовете на групата, взаимно проследяване на обмена на информация и обратна връзка между членовете на групата и взаимно наблюдение на прогреса по отношение на взимането на правилното решение.

Освен теста учениците ще попълват и три въпросника в продължение на около 1 час: въпросник за ученика; въпросник за образователната кариера на ученика и въпросник за компютърната грамотност на ученика. Тези въпросници осигуряват необходимата контекстуална информация, която позволява образователните резултати на учениците да се анализират във връзка с външните фактори, които влияят върху тях.

Резултатите от PISA 2015 ще бъдат представени в края на 2016 г.

TIMSS 2015

Международното изследване на уменията по математика и природни науки TIMSS събира, анализира и представя международно сравними данни и резултати, даващи възможност на страните, участвали в изследването:

– да наблюдават и сравняват ефективността на националните образователни системи в международен контекст;

– да използват международната база данни, за да анализират факторите, необходими за постигането на високи резултати по математика и природни науки;

– да оценяват напредъка в постиженията на учениците по математика и природни науки между отделните цикли на изследването както на международно, така и на национално ниво;

– да откриват проблемните области и да предложат възможни подобряването им;

– да анализират пропуските в постиженията на учениците по матема природни науки и да търсят равен достъп до качествено образование за ки социални или малцинствени групи;

– да изследват постиженията по математика и природни науки в края на началния и прогимназиалния етап на образование.

Изследването TIMSS се провежда от 1995 г. на всеки четири години, като обхваща учениците от IV и от VIII клас. В първите четири цикъла на изследването страната ни участва при учениците от VIII клас. През 2011 г., когато TIMSS се проведе едновременно с Международно изследване на уменията за четене на учениците от IV клас PIRLS, България участва само в PIRLS (за трети пореден път). През 2015 г. страната ни за първи път ще участва в изследването при четвъртокласниците.

В пилотната фаза на TIMSS 2015, проведена през март 2014 г., се включиха около 1300 ученици от IV клас от 42 училища. Основното изследване TIMSS 2015 ще се проведе през пролетта на 2015 г. в 150 училища от цялата страна, избрани по случаен начин от всички училища в България. От всяко избрано за участие училище в изследването ще участват една или две паралелки – в зависимост от големината му.

В момента се работи върху превода и адаптирането на материалите за изследването – 14 тестови книжки, включващи задачи по математика и природни науки, както и въпросници за училището, учителите, учениците и родителите.

Резултатите от изследването ще бъдат публикувани в края на 2016 г.

Пилотни изследвания

ICCS 2016

Първият етап на Международното изследване на гражданското образование (ICCS) беше проведен през 2009 г. Проучването се провежда от Международната асоциация за оценяване на образователните постижения (IEA). Докладът с резултатите е публикуван на www.ckoko.bg.

ICCS е международно образователно проучване, което има за цел да изследва как младите хора (целевата група са 13 – 14-годишни младежи, т. е. ученици в VIII клас) се подготвят за компетентно и отговорно участие в обществения живот, за успешна лична и професионална реализация, отговаряща на принципите и ценностите на демократичното общество. През последните години образователната политика на Европейския съюз се фокусира върху гражданската компетентност, която е сред осемте компетентности, определяни като ключови за пълноценната личностна и обществена реализация на младия човек.

Пилотно изследване за 2016 г. в България се проведе през ноември 2014 г. Целта на пилотното изследване бе да се апробира тестовият инструментариум (тестовите задачи и въпросниците) и процедурите на оценяването. В извадката за пилотното изследване бяха включени 25 училища, като във всяко училище участваха по две паралелки в VIII клас (1200 ученици).

Изследването сред учениците се проведе изцяло на хартиен носител чрез тестови книжки и въпросници. Учениците попълват тест в продължение точно на 45 минути. След това за около 1 час попълват въпросник за ученика и въпросник „Европейски модул“. Последният е свързан с ЕС и отношението на учениците към различни аспекти от членството на България в ЕС. Директорите на училищата в извадката, както и учителите на учениците от VIII клас, попълват въпросник онлайн.

PIRLS 2016

Международното изследване на уменията за четене (PIRLS) на учениците от IV клас отчита тенденциите в постиженията им и изучава различията между националните образователни системи в участващите страни. Провежда се на всеки пет години от 2001 г., като досега България участва във всеки цикъл – 2001, 2006 и 2011 г.

Международните изследвания не са със състезателна цел. Не бива да се интересуваме от това с колко места сме се преместили нагоре или надолу, защото това зависи от броя на участващите страни, а той обикновено нараства с всеки изминал цикъл.

PIRLS измерва способностите на учениците от IV клас да разбират съдържанието на различни текстове, като използват набор от когнитивни процеси. Изследването се фокусира върху двете основни цели при четенето на учениците във и извън училище.

– Четене с разбиране (художествени текстове – завършени кратки истории, допълнени с подходящи илюстрации; историите имат сюжет с едно или две централни събития, в които участват един или двама главни герои.)

– Извличане и използване на информация (научнопопулярни текстове – структурирани текстове, включващи природни, географски, биографични или практически материали, подкрепени от подходящи диаграми, списъци, таблици, снимки, текстови полета или карти.).

Тези цели определят избора на текстовете, които да се включат в изследването. За всяка цел има определени четири различни когнитивни процеса, като всеки въпрос е изготвен да извлича и оценява само един от тях: търсене и извличане на определена информация; извеждане на преки заключения; интерпретиране и обобщаване на идеи и информация; анализ и оценка на съдържанието, езика и структурата на текста.

Пилотно изследване за 2016 в България ще се проведе през март – април

2015 г. Целта е да се апробира тестовият инструментариум (тестовите задачи и въпросниците) и процедурите на оценяването. В извадката за пилотното изследване попадат около 1500 ученици в IV клас от 90 училища (начални, основни и средни). Те ще решават тестове на хартия.