Резюме. Образованието се превърна в основен фактор, определящ социалното и икономическото развитие на индивидите и нациите. Затова реформата на образователната система е обикновено сред ключовите национални приоритети на правителствата. Националните програми за външно оценяване на учениците са основният инструмент за измерване на качеството на образованието и за текущо наблюдение на ефекта от образователните реформи. Това налага да бъде гарантирано, че разработените тестове и изпитни програми са на най-високо професионално равнище. Целта на настоящото ръководство е да подпомогне всеки екип, отговорен за разработването и провеждането на тестове, както и при анализа и обявяването на резултатите. Текстът е фокусиран върху практическото приложение на теорията за разработване на тестове въз основа на опит от провеждането на различни програми за оценяване в Канада и в други държави. Главните теми, които са разгледани, са следните: планиране на оценяването, разработване на тест, създаване на тестови задачи, съставяне на тестове и провеждане на пилотни тестове, анализ на тестовете и тестовите задачи и интерпретиране на тестовите резултати.

Ключови думи: education, assessment, item development, test design, testing

1. Планиране на оценяването

Това ръководство се фокусира върху основните стъпки при оценяването в образованието: разработването на тестове, анализа и публикуването на резултатите от тях. За да могат тези стъпки да намерят точното си място в цялостния процес на планиране, в тази глава се разглеждат накратко няколко важни елемента, които трябва да бъдат взети под внимание при планирането на национална програма за външно оценяване.

1.1. Цели на образованието

Целите на българската образователна система и на националната програма за обучение задават общата рамка за разработването на ефективна програма за оценяване на учениците. Авторите на такива програми трябва постоянно да сверяват посоката си на работа с тези цели, ако искат програмите да бъдат адекватни.

1.2. Видове програми за оценяване

Националните програми за външно оценяване могат да бъдат разделени на три вида, всеки от които обслужва различна цел.

1.2.1. Грамотност

В повечето случаи целта на правителствата днес е да осигурят солидно ниво на грамотност на младите хора в рамките на задължителния курс на обучение. В този случай националнитепрограми за оценяване се създават, за да измерят степента на постигане на тази цел. Уменията, които най-често се оценяват, са четене, писане и математика, но нерядко се тестват познанията и в други научни области.

В някои случаи министерствата на образованието се интересуват само от национални тенденции и определят национални извадки, които преминават през тест. В други случаи министерствата подлагат на тест всички ученици от един и същ клас, като очакват регионалните инспекторати, училищните директори и преподавателите да използват резултатите от теста, за да определят силните и слабите страни на учениците и да подобрят тяхната успеваемост. Това обикновено са текущи тестове и резултатите от тях не се отразяват на крайните оценки на учениците, от които зависи преминаването им в по-горен курс на обучение.

1.2.2. Сертифициране

Изпитите, полагани след завършване на средното образование, често се провеждат под формата на тест, чиито резултати удостоверяват успешното завършване на учениците. Изпитните работи по отделните предмети се проверяват от специалисти по съответния предмет. Това осигурява единни критерии за оценяване. Тези тестове са най-често сертифициращи, тъй като в зависимост от резултатите учениците преминават или не преминават в следващия етап.

1.2.3. Селекция/прием

В някои случаи резултатите от теста определят приемането на учениците в следващия образователен етап, като колеж или университет. Тези тестове, също като сертифициращите, се считат за определящи, тъй като резултатите от тях директно засягат по-нататъшното академично развитие на учениците.

1.3. Цел на оценяването чрез тест

След като едно правителство вземе решение за въвеждане на национална програма за външно оценяване на учениците, многоважно е нейната цел да бъде разяснена. Това е от особена важност за учениците, родителите, учителите, други пряко заинтересовани страни, както и за широката общественост. Това важи и за екипа, отговорен за разработването на тестовете, като за нуждите на оценяването е необходимо да се изработят подходящи измерителни инструменти.

Ако една програма за оценяване е била прилагана години наред, добре е периодично да се преразглеждат целите є. Случва се промени, въвеждани в програмата през годините от различни министри на образованието, да доведат до това, тя да не отговаря на първоначалната си цел.

Периодичното разглеждане на избрани доклади от вече проведени тестове и на публикациите, свързани с тях, е една от често използваните техники за изясняване на целите на оценяването. Съпоставянето на различни гледни точки за представянето на изпитните резултати помага на министрите и на останалите заинтересовани страни на национално и регионално ниво да дефинират по-ясно очакванията си от едно оценяване. Веднъж изяснени, форматите за докладване на резултатите се превръщат във важна отправна точка за институцията, която провежда теста. Внимателното обмисляне на заложените цели би опростило вземането на редица решения в процеса на разработване на теста.

Една важна стъпка, която трябва да бъде предприета на следващ етап, е изборът на такива тестови задачи за включване в теста, които да осигурят максимална прецизност при вземането на ключови решения. Ако например целта на един тест е да определи процента ученици, покрили националните стандарти за успеваемост по математика, то задачите в него би трябвало да бъдат особено прецизни за определянето на минималния праг, който да раздели учениците на „покрили“ и „непокрили“ стандартите. Целта е да се минимизират грешките при определяне на праговете за образователния минимум по даден предмет.

Сходна е ситуацията, ако целта на теста е да определи най-добрите ученици, на които да бъде отпусната стипендия или да бъдат приети в определена университетска програма. В този случай трябва да се подберат тестови задачи, осигуряващи точност във високите нива на скàлата на успеваемост.

Специалистите по оценяване предпочитат да съставят тестове, които имат една цел. На практика обаче правителствата често вземат решения, които налагат изработването на тестове с повече от една цел. Не е изключение например правителствата да възложат изготвянето на изпитна програма, която да удостовери, че завършващите средно образование покриват националните стандарти за успеваемост по различни предмети. Нерядко тези програми се използват и от университетите при определяне на приема на студенти.

1.4 Основни принципи

Каквато и да е целта на един тест, неговото изработване трябва да се ръководи от два фундаментални принципа: валидност и надеждност, съобразно заложените в него цели.

1.4.1. Валидност на теста

Един тест с висока валидност трябва да отговаря положително на следните въпроси:

– Измерва ли на практика тестът онова, което претендира, че измерва?

– Ако националната образователна програма е използвана като рамка за изработване на национален изпит-тест, то има ли доказателства, че основните елементи в програмата се измерват от теста?

– Ако тестът цели да измери основните умения, необходими на човек, за да се реализира в съвременното общество, то посочено ли е кои са тези умения и кои задачи от теста ги оценяват?

– Ако това е приемен изпит за университет, има ли доказателства, че резултатите от теста отразяват именно онези качества на бъдещите студенти, които биха били предпоставка за успех в университета?

1.4.2 Надеждност на теста

Високата надеждност на тест дава положителен отговор на следните въпроси:

– Когато се обяви, че 60% от учениците покриват националните стандарти за грамотност, сигурно ли е, че това не са 50% или 70%?

– Когато един ученик постигне резултат 40% и му се поставя оценка „не преминава“, сигурно ли е, че този резултат е достоверна оценка за нивото му на успеваемост?

Тестът се състои от определен брой тестови задачи, които представляват извадка от възможните тестови задачи, с които би могъл да бъде оценен един ученик.

Резултатите от теста трябва да са оценка на действителните способности на учениците или на техните нива на успеваемост. В оценяването е важно да се докладва вероятностната грешка и възможното отклонение на оценката, независимо от целта на теста. В Ръководството са разгледани няколко метода, чрез които се пресмятат отклоненията при изчисляване на резултатите.

1.5. Национални тестове и изпити: основни задачи

Планът за провеждане на оценяването е важен инструмент за управление: той помага на екипа, отговорен за оценяването, да координира дейностите, свързани с оценяването, и да следи дали основните задачи се изпълняват навреме. Планът е основен инструмент и за вътрешна комуникация: всеки член на екипа може да провери как се съотнася неговата работа към свършеното от колегите му, както и да идентифицира проблеми, изискващи особено внимание.

В Таблица 1.1. са изброени основни дейности при провеждането на национално външно оценяване. Това е примерен списък, който служи като отправнаточка и може да бъде преработен и разширен, съобразно спецификите на конкретен проект.

1.6. Времева рамка

Националните програми за оценяване обхващат много училища, учители и ученици. Интересът на родителите и на широката общественост към тях също нараства. Предвиждането на достатъчно време е важна част от процеса на планиране и е залог за постигане на високо качество.

Ако предвиденото време е твърде кратко, това ще се отрази негативно върху качеството на тестовите инструменти и е вероятно да възникнат проблеми при самото му провеждане в училищата или при обявяването на резултатите пред учениците и родителите. Известно е какви проблеми може да предизвика прибързаното разпространение в медиите на зле разработени тестови задачи или изпращането на неверни резултати на учениците поради грешки в софтуера. Проблеми възникват и когато съответната институция разтегля твърде много във времето планирането на оценяванетоили обявяването на резултатите от него. В подобни случаи оценяването не успява да обслужи нуждата на правителството и обществото.

При провеждане на едно оценяване за първи път винаги е необходимо по-вече време за съставяне на теста и администрирането му. По-нататъшното ежегодно провеждане на оценяването изисква сравнително по-кратко време.

Например в Канада за приемането на ново стратегическо решение (според което всички ученици в Х клас преминават през тест, оценяващ способността им да възприемат и анализират писмени текстове) още в началото всички заинтересовани страни се включват в публичното му обсъждане. След това се сформират комисии от предварително определении одобрени изявени експерти по предмета от университети, регионални инспекторати и училища. Задачата на тези комисии е да подпомогнат разработването на цялостния дизайн на новите тестове и на стратегията за докладване на резултатите. Тези експерти създават таблиците със спецификациите и подготвят тестовите задачи. След това се провеждат пилотни тестове. Резултатите от пилотните тестове често налагат началният вариант на теста да бъде основно преработен. След това се изработват нови процедури за оценяване на резултатите, нови компютърни програми, стратегии за управление на информацията и т. н.

Таблица 1.2. представя времева рамка, съдържаща времето, необходимо на оценяващата агенция в една канадска провинция за въвеждането и провеждането на ново оценяване. Тази времева рамка отчита факта, че по същото време тази агенция е ангажирана и с управлението на други оценявания.

След първите няколко години проблемите, свързани със съдържанието и провеждането на теста, обикновено се разрешават и времето, необходимо за подготовката и провеждането на един ежегоден изпит, се съкращава.

С цел оптимизиране на разхода на време и ресурси, през лятото често биват наемани учители, които да създадат голям брой тестови задачи. Изготвените задачи минават през пилотен тест и служат за основа на банка от задачи за изпитите, провеждани през следващите 3–4 години.

1.7. Секретност на тестовете

Запазване на секретността на изпитните материали и на отделните тестови задачи е важно изискване към съответната национална агенция. Нарушаването на секретността на един тест разколебава сериозно доверието в националната система за оценяване, както и в образователната система като цяло, и поставя под съмнение справедливостта на обявените резултати.

Трябва да бъдат установени и добре разяснени правилата и процедурите за провеждането на едно оценявание на ниво регионални инспекторати и училища, както и в самия тестов център. Тези правила трябва да включват изрично описание на наказанията, които ще бъдат прилагани при възникнали нарушения. Поради бързото развитие на информационните технологии е важно тези процедури да бъдат редовно осъвременявани.

С нарастването на броя на разработвани и одобрявани тестове се увеличава и рискът от пробив в секретността на изпитните материали. С цел минимизиране на този проблем в подобни агенции често се определя конкретен човек, който отговаря за секретността на тестовете като цяло. Сред задълженията на отговарящия за сигурността служител е да определя кой в центъра има достъп до проектотестовете, както и да следи за спазване на ограниченията в достъпа по време на цялостния процес по разработване на теста.

2. Разработване на теста

Изработването на един тест е пряко свързано с това, което целим да оценим. Ако искаме да измерим успеваемостта на учениците по предмет, включен в задължителната национална образователна програма, то именно съдържателната рамка за всеки от тези предмети ще бъде нашата основна отправна точка. Ако искаме да измерим развитието на учениците при усвояване на умения, предмет на международни програми като PISA или TIMSS, тогава рамката на тези програми ще определи началната точка при планирането на теста.

В случая с българската национална програма за оценяване учениците се оценяват въз основа на държавните образователни изисквания за учебното съдържание. Примерите в настоящата главаса съобразени с този модел.

2.1. Спецификация на теста

Спецификацията на теста е таблица, която описва какво цели да измери тестът. Таблицата може да бъде организирана по различни начини, като един от вариантите е следният:

В примера по вертикалата са разположени елементите от съдържанието на учебната програма по учебния предмет, който се оценява. Важно е да се обхванат основните учебни ядра от учебната програма, след което да се идентифицират ключовите цели на всеки неин дял.

По хоризонталата са разположени различните познавателни равнища, започвайки от базовите умения – като припомнянето на прости факти, до уменията, изискващи по-сложни мисловни процеси – например анализ на противостоящи тези или решаване на сложни проблеми.

Таксономията на Бенджамин Блум (Benjamin Bloom) предоставя допълнителна информация по темата.

В Таблица 2.1. 15% от задачите в теста оценяват тема 1 от учебната програма, 20% – тема 2, и т. н. От гледна точка на познавателните равнища общо 30% от тестовите задачи се отнасят до най-ниското равнище и 30% – до най-високото. На практика обикновено започваме с предварително зададени проценти, като в процеса на финализиране на теста ги коригираме. Често оценяващите агенции посочват граници от–до, вместо да фиксират конкретни прагове.

2.2. Познавателни (когнитивни) равнища

Важна цел на спецификационната таблица на теста е да направи така, че задачите в него да измерват основни елементи от учебната програма, като обхванат всички познавателни равнища. В миналото изпитните програми в някои държави бяха фокусирани върху способността на учениците да си припомнят информация, изложена в учебниците или преподавана в час. В подобни ситуации тестовите задачи, надхвърлящи съдържанието на учебниците, биваха често атакувани от учители и ученици като „несправедливи“. С времето тези програми се модифицираха и започнаха да поставят акцент върху способността на учениците да разбират основните идеи и по-нятия, да прилагат познанията си при разрешаване на новипроблеми и да анализират и преценяват различни гледни точки. Тази тенденция се стимулира до голяма степен от появата на икономика, базирана върху знанието, което отдава много по-голямо значение на творческото мислене и способността за разрешаване на проблеми.

Важно е да се отбележи, че класифицирането на тестовите задачи според когнитивните равнища става по преценка на експерти в съответната дисциплина, които са наясно с нивото на познание на учениците. Онова, което би могло да се счете за високо познавателно равнище за една група ученици, би се класифицирало като относително ниско за друга група.

Да вземем следния пример: 25 + 49 =?

За учениците в VII клас това би се класифицирало като вече изградено умение и ще бъде поставено в най-ниското познавателно равнище, докато за учениците в I клас, които познават аритметичните операции само с едноцифрени числа, верният отговор на такава задача би изисквал по-комплексни умения.

2.3. Тежест на тестовите задачи

Тук се разглежда един метод за определяне на процента тестови задачи, които да бъдат обвързани с всяка от темите (ядрата) на учебната програма и приоритетните образователни цели, които да бъдат подложени на тестиране. Той включва следните стъпки:

Определяне на екип от специалисти по съответния предмет. В екипа приоритетно се включват действащи учители, които са добре запознати с целевата група ученици.

Запознаване на екипа с процеса по съставяне на теста, както и с целта и спецификите му.

Определяне на процентите от задачите, които да бъдат обвързани с всеки от основните дялове от учебното съдържание. Членовете на екипа трябва да работят независимо един от друг. Определяне на първоначална тежест за конкретния дял от учебното съдържание чрез пресмятане на медианата от процентите, посочени от всички членове на екипа (процентът, който разделя мненията на учителите на две равни части).

Преглеждане на всички очаквани резултати от обучението по този предмет за съответния клас от всеки член на екипа. Подреждане на очакваните резултати, както следва:

- да се подложат на тест;

- да се подложат на тест, ако има достатъчно време;

- да не се тестват.

Избор на тези очаквани резултати, които са получили най-висока оценка.

Определяне на процента от тестови задачи, който трябва да бъде обвързан със съответното познавателно равнище от всеки член на екипа. Определяне на първоначална тежест за дадено познавателно равнище чрез пресмятане на медианата от процентите, посочени от членовете на екипа.

Преглед на получената съдържателна рамка заедно с екипа и извършване на последни корекции преди започване на процедурата по създаване на тестовите задачи. След приключване на подготовката на задачите е възможно екипът да установи, че процентите в таблицата трябва да се коригират.

Веднъж завършена, спецификацията на теста трябва да се превърне в описателна основа на характеристиките на теста. Важно е да се отбележи, че учителите, директорите на училищата и останалите представители на училищната администрация, както и родителите и медиите, високооценяват публикуването ù.

2.4. Система от кодове

За да е възможно тестовите задачи да бъдат добре организирани, така че да могат лесно да бъдат намерени и използвани в следващ момент, е важно да се състави система от кодове. Тук са представени типовете информация, която трябва да се съдържа и съхранява за всеки отделен тест и тестова задача.

Тестове:

– Номер на теста (уникален код)

– Клас и предмет

– Дата на провеждане

– Дата на публикуване

2.5. Международен опит

Винаги е полезно да се запознаем с примери от практиката на други оценяващи агенции. Програмата за международно оценяване на учениците (PISA) на Организацията за икономическо сътрудничество и развитие (OECD) и по-добни изследвания на Международната асоциация за оценяване на постиженията в образованието (IEA) предоставят отлични примери за разработване на тестове. Тези организации имат дългогодишен опит при разработването на изпитна документация и съставянето на специфични тестове. Подробна информация може да се открие на техните уебстраници.

2.6. Британска Колумбия

Следващите примери са базирани на опита на отдел „Оценяване на учениците“ към Министерството на образованието в Британска Колумбия, Канада. Подробна информация за всички аспекти на процеса на планиране и извършване на едно оценяване може да се намери на адрес www.bced.gov.bc. Там са публикувани таблици със спецификации и примерни тестове, проведени през последните години.

2.6.1. Оценяване на базовите умения

В Британска Колумбия всички ученици в IV и VII клас се оценяват чрез тестове. Тези тестове са предназначени да оценят способностите им по четене, писане и смятане. Това са основни умения, считани за ключови при по-нататъшното обучение. Уменията, оценявани в IV клас, са преподавани от I до IV клас, а тези в VII клас – от I до VII клас. Акцентът на оценяването се поставя върху способността за прилагане на уменията в различен контекст и в ежедневието.

Резултатите се обявяват поименно, без да разделят учениците на „издържал“ и „неиздържал“, като имат за цел да дадат информация за успеваемостта на всеки отделен ученик. Резултатите от теста се използват и за текущо наблюдение на успеваемостта на училищата, регионите и провинцията като цяло.

Таблица 2.2. представя спецификацията на тест за оценяване на базовите познания в IV клас. Таблицата е с много широк обхват и обединява трите области на оценяването. Обикновено се публикува, за да разясни на учителите и обществеността какъв е предметът на оценяването.

За комисиите, които работят върху съставянето на теста, се подготвя по-подробна документация. Тя се използва за допълнително разясняване какво точно ще се оценява. Например информацията в Таблица 2.2. описва по-подробно значението на термина „анализиране на текст“ при оценяване на четенето в IV клас, тъй като разширените дефиниции почетене са важен ориентир за авторите на теста.

На страницата на министерството се публикуват примерни тестове, които са на разположение на учениците, тъй като е възможно не всички да са запознати с формата на оценяването. Въпреки това от учителите се очаква да представят в час използваните тестови формати.

За оценяване на базовите умения при провеждането на тестове със задачи с избираем отговор и някои формати задачи с писмен свободен отговор се използват съвременните технологии. Други задачи с писмен свободен отговор са на хартиен носител и на по-късен етап резултатите от тях се обединяват с тези на задачите с избираем отговор.

Времето, определено за oценяването на базовите умения, е 4 часа и половина, разпределени в период от една седмица. Учениците могат да получат допълнително 60 минути, за да довършат работата си.

Източник: Министерство на образованието на Британска Колумбия, август 2009 г. http://www.bced.gov.bc.ca/assessment/fsa/

2.6.2. Изпити в гимназиален етап

В допълнение към оценяването на базовите умения в IV и VII клас в Британска Колумбия се провеждат и финални (зрелостни) изпити от X до XII клас. Всички ученици полагат изпити върху материала по основните предмети, изучавани в тези класове2) . Резултатите от тестовете в X и XI клас допринасят за формирането на крайната оценка на ученика, като имат определяща тежест 20% срещу 80% тежест на оценките, дадени от учителите в час. В XII клас изпитите, администрирани от министерството, имат 40% тежест.

В XI клас учениците избират един от три възможни курса по социални науки. Таблица 2.3. представя спецификация на тест за изпит за конкретен курс по социални науки. Таблиците със спецификациите за другите курсове са също публикувани на уебстраницата на министерството. Тестове от предходни години, заедно с ключовете за верните отговори, също са публикувани на страницата, която е популярна сред учители и ученици.

Стойностите в таблицата са относителни и могат да варират. С изключение на „Умения и процеси“ процентите на всяко учебно ядро отразяват времето за преподаване, препоръчано от Учебното ръководство по социални науки за XI клас от 2005 г.

Времето, определено за изпита, е два часа. Учениците могат да получат допълнително 60 минути, за да довършат работата си.

Формат на изпита:

Задачи с избираем отговор – 70%

Задачи със свободен отговор (есе и др.) – 30%

Източник: Министерство на образованието на Британска Колумбия, август 2009 г. http://www.bced.gov.bc.ca/ exams/

Таблица 2.4. представя спецификация на тест за изпит по математика. Този изпит е свързан с материала по математика за XII клас – най-високия курс по математика в Британска Колумбия. Учениците, които избират този курс, обикновено възнамеряват да продължат образованието си в университет. Трябва да се отбележи, че на комисията, която ще работи върху изготвянето на задачите, се предоставя по-подробно описание на критериите за съставяне на теста.

Стойностите в таблицата са относителни и могат да варират. Процентите за всяко учебно ядро отразяват времето за преподаване, отделено за съответните урочни единици. Тъй като е невъзможно да се оценят всички предписани образователни цели, изпитът е базиран върху извадка от учебната програма.

Формат на изпита:

– 16 задачи с избираем отговор (без използване на калкулатор) по 1,5 точки – 24 точки;

– 28 задачи с избираем отговор (с използване на калкулатор) по 1,5 точки – 48 точки;

– Задачи със свободен отговор (с използване на калкулатор) – 24 точки.

Общо 90 точки.

Източник: Министерство на образованието на Британска Колумбия, август 2009 г. http://www.bced.gov.bc.ca/ exams/

БЕЛЕЖКИ

1. Ръководството е разработено от Фернандо Картрайт и Джери Мусио за Център за контрол и оценка на качеството на училищното образование по проект, финансиран от Световната банка

2. В 12. клас е възможно учениците да положат и писмен изпит по главните балообразуващи предмети за прием във ВУЗ.