Резюме. В статията се разглежда процесът на теоретично и съдържателно конструиране на тест за национално външно оценяване по „Човекът и обществото“ в 4. клас, организиран от Център за контрол и оценка на качеството на училищното образование. Обсъжда се процесът на критериалното му структуриране, като се интерпретират заложените ДОИ за културно-образователна област „Обществени науки и гражданско образование“ в начален етап и връзката между съответните стандарти от програмата по „Човекът и обществото“ и ДОИ по „Гражданско образование“ за начален етап. Специално внимание се отделя на създаването и апробацията на тестови задачи със свободен отговор, както и на постигането на съотносимост между броя тестови задачи по съответните ДОИ и представеността им в учебната документация, с цел оптимално да се обхванат реализираните учебни постижения на учениците. Важен елемент на критериалната система и на реализацията на теста са различните познавателни равнища и делът на предложените тестови задачи на равнище знания, равнище разбиране и равнище приложение.

Ключови думи: test for national external evaluation in „Human beings and society“, standards creation and approbation of Test free response items, implementation of the test, different cognitive levels

Работата по конструирането на теста като цялост и на отделните тестови задачи е подчинена на основната цел на националното външно оценяване – измерване на учебните постижения на учениците по „Човекът и обществото“ в 4. клас в национален план на три познавателни равнища – знание, разбиране и приложение. База за разработване на теста са държавните образователни изисквания за учебното съдържание по „Човекът и обществото“. За да бъде тестът валиден и надежден на национално ниво, от изключително значение е неговото стандартизиране и съобразяването на въпросите и задачите в него с изготвената спецификация и прецизния подбор на съдържание и формулировки както на условията, така и на отговорите и дистракторите. Необходимо е и прецизно установяване на наличието на отделни факти в разработките в действащите учебници.

Дидактическият тест – основни характеристики и класификация

Понятието тест означава набор от въпроси и задачи, конструирани според точно определена цел и строго определени процедури. Предназначени са да измерват равнището на усвояване на определено учебно съдържание (Бижков, 1996). От отговорите и решенията се получава информация за учебните постижения, т. е. тестират се не само знанията, но и уменията, начините за решаване на задачите, приложенията на знанията в практиката и т. н.

Според Г. Бижков „…въпреки различното стилово и терминологично изразяване всички автори са единодушни относно това, че дидактическият тест е метод, средство за измерване на резултатите от учебно-възпитателната работа, най-често провеждана в училище по установени учебни програми и подчинена на определени цели“ (Бижков, 1988).

С възможността да се проверяват знанията чрез тест е свързано и предимството да се следи индивидуалното развитие на всеки ученик, както и специфичните трудности, които среща, и да му се помага да ги преодолява по-лесно. Оценката, получена след изпълнение на тест, има позитивен ефект върху мотивацията за обучение на учениците, защото тя е независима от личността на оценяващия. Това именно създава усещането, че оценката, която получаваш, изцяло зависи от теб самия, а не от субективното мнение на друг човек. Тъй като всяка тестова задача има индекс за трудност, въз основа на него могат да се подбират задачите с желана трудност за съответна цел.

Основен показател за ефективността на учебно-познавателния процес е съответствието между постигнатите резултати и предварително поставените цели, фиксирани в учебните планове и програми (Бъчева, 1984). Измерването на това съвпадение се осъществява чрез критериални тестове.

Чрез нормативните тестове се установява индивидуалният статус навсеки ученик в сравнение с постиженията на другите ученици.

Както всеки метод, така и тестът има съществени страни, които го определят и отличават от другите. Това са неговите специфични същност, функции, типология, основни характеристики и качества (Ганчев, Делчев, Нонова, 2004).

Дидактическият тест се използва широко в учебния процес, къдетоизпълнява редица важни функции – дидактическа, гносеологическа, диагностична, селективна, регулираща, контролна, прогностична, възпитателна, стимулираща.

Основни характеристики на теста

Към дидактическия тест се отправят редица изисквания, които са критерии за неговото качество. Основните изисквания към тестовете са свързани с независимостта и точността на измерването. Постигнатите резултати от учениците трябва да бъдат независими от съставителя на теста, от мнението на тестиращия за тези ученици. Тестовете трябва точно да отчитат постиженията на учениците и да са в съответствие с поставените цели на контрола (Ганчев, Делчев, Нонова, 2004).

Всеки добре съставен тест трябва да притежава следните основни характеристики: обективност, надеждност, валидност, сравнимост, икономичност, полезност, безпристрастност.

Обективност – означава степента на независимост на провеждането и на резултатите от неговия автор. Обективността се отнася към подготовката и създаването на теста, провеждането на теста и анализа и интерпретацията на резултатите (Бижков, 1996).

Надеждност – показва точността на създавания или използвания готов тест. Количественият израз на точността, на надеждността на теста се представя с т. нар. коефициент на надеждност, който всъщност е коефициент на корелация.

Валидност – показва степента на точност, с която той измерва това, което трябва да измерва. За целта конкретно измерените резултати се сравняват с предварително определен външен критерий, който за дидактическите тестове са изискванията на учебната програма по съответния предмет. Различават сетри типа валидност: съдържателна, критериална и конструктивна (Бижков, 1988).

Тестът за външно оценяване по Човекът и обществото в 4. клас за НВО 2013 година е критериален дидактически тест. Той се базира на заложените ДОИ за културно-образователна област Обществени науки и гражданско образование в начален етап, които се разглеждат като критерии при конструирането на теста. В тази критериална база не са включени образователните изисквания, чиято стандартизация е трудно осъществима. Спазена е връзката между съответните стандарти от програмата по Човекът и обществото и ДОИ по Гражданско образование за начален етап.

В спецификацията на теста са включени държавни образователни изисквания от петте ядра на КОО Обществени науки и гражданско образование и от едно ядро на ДОИ по Гражданско образование като интердисциплинарен елемент на учебното съдържание в задължителната подготовка в начален етап.

При изработване на спецификацията е направен опит да се постигне съотносимост между броя тестови задачи по съответните ДОИ и представеността им в учебната документация с цел оптимално да се обхванат реализираните учебни постижения на учениците (Табл. 1).

Въпросите от отделните ядра на учебното съдържание са разпределени в три познавателни равнища в следното съотношение:

– равнище знания – 7 задачи (37%);

– равнище разбиране – 8 задачи (42%);

– равнище приложение – 4 задачи (21%).

При изработването на тестовите задачи се използва разделянето на шестте основни групи (равнища) на учебните цели съгласно таксономията на Блум (Анастази, 1980).

Първо равнище – знание

Част от създадените тестови задачи са на равнище знание. Те изискват от четвъртокласниците припомняне на това, което са изучили. Принципите, върху които са изградени, са:

– формулировката да е ясна;

– тестовите задачи да са верни според съответната научна област („Човекът и обществото“), от която са;

– верният отговор да е резултат от обучение по учебната дисциплина „Човекът и обществото“.

Второ равнище – разбиране

Докато при категорията „знание“ се изисква единствено възпроизвеждане на информация, то на равнище „разбиране“ е необходимо знанието да бъде преобразувано в смисъл на интерпретация.

При решаването на този тип тестови задачи се изисква преработване на информацията, която учениците са научили от учебното съдържание, с цел осмислянето и свързването с цялостната информация. При интерпретацията на знанията се изисква децата да сравняват, обобщават, откриват връзки и зависимости, разграничаване на несъществените от съществените признаци.

Трето равнище – приложение

При тестовите задачи от този тип ученикът се поставя в нова проблемна ситуация. На това равнище учащият се трябва да моделира новата ситуация, да подбере адекватни методи за решаването и да реши проблема. Децата трябва да могат да оперират, прилагат и използват знанията си, за да решават този тип задачи.

Структура на теста за външно оценяване по „Човекът и обществото“ – 4. клас

Брой на задачите – 19.

Тестови задачи с избираем отговор, като само един от тях е верен – 16.

Тестови задачи със свободен отговор – 3.

Нов елемент в проектирания тест е включването на задачи със свободен отговор. При тях няма предварително дадени отговори за избор от страна на учениците. Отговорът може да е една дума, фраза, число, изречения. Въпросът се формулира, след като се изясни какъв интелектуален процес ще приложат изпитваните и по такъв начин, че да осигурява възможност на изпитвания да покаже своята компетентност в определена сфера и способност да си служи с това знание.

Създаването на теста за НВО 4. клас е подчинено на следните етапи:

Подготвителен етап (предварителна подготовка):

– запознаване със състоянието на проблема в литературата и педагогическата практика;

– анализ на държавните образователни изисквания от петте ядра на КОО Обществени науки и гражданско образование и от включеното ядро на ДОИ по Гражданско образование;

– анализ на учебните програми и учебниците по „Човекът и обществото“ – 3. и 4. клас1) ;

– систематизиране на информационните цялости, включени в учебниците, търсене на съществуващи различия.

Основен етап:

– съставяне на тест-спецификация;

– изготвяне на тестови задачи в съответствие с изготвения проект за структура и спецификация на теста;

– изготвяне на критериите за оценка на задачите със свободен отговор;

– оценяване на тестовите задачи от оценители;

– корекции и подбор и тестови задачи за апробация;

– апробация на теста;

– анализ на качествата на отделните задачи.

Заключителен етап:

– конструиране на варианти на тест на НВО;

– провеждане на теста;

– анализ на резултатите.

Разработването на тестовите задачи се подчинява на следните правила, обединени в три групи:

Правила, свързани със съдържанието на тестовите задачи

1. Задачата да измерва точно едно определено съдържание и познавателна област от спецификацията.

2. Задачите да са независими една от друга.

3. Да не се пита за прекалено специфично или общо съдържание.

4. Задачата да измерва единствен факт/понятие/принцип/процедура, а не няколко от тях.

5. Да не се пита за съдържание, което е свързано с личностно мнение.

6. Да не се използват похвати, за да се „подлъже“ нарочно ученикът.

Правила, свързани с формата на задачите

1. Да се използват форматите, заложени в изискванията на МОН за теста.

2. Да се направи всичко възможно алтернативите за отговор да са вертикално разположени, а не хоризонтално.

Правила, свързани с писането на условието

1. Условието може да е или като въпрос, или като незавършено изречение.

2. Указанията/информацията трябва да са пределно ясни.

3. Основната идея на задачата да се включи в условието, а не във възможностите за отговор.

4. Да се избягва неадекватен контекст.

5. По възможност условието да е в позитивна форма. Ако се налага да е в негативна, думи като НЕ, НИКОГА и др. да са изписани с главни букви и да са по-тъмни.

6. Учениците трябва да са съвсем наясно какво се иска от тях, каква точно е поставената задача.

7. Контекстът на задачата трябва да е ясен, ако контекстът не подпомага решението, той трябва да се избягва, защото само удължава условието и разсейва учениците.

8. Броят на възможните отговори при задачите с избираем отговор да бъде три. Не трябва да има „неработещи“ дистрактори.

9. Да има логическа независимост на възможните отговори.

Правила за писане на правилен отговор

1. Точно една от възможностите за отговор да е правилна.

2. Правилният отговор да се слага на различни места.

3. Да не се дават неволни указания за правилния отговор.

4. Да не се използват специфични думи като „винаги“, „никога“, „напълно“, „абсолютно“ и т. н.

5. Да не се предизвикват асоциации, показващи правилния отговор.

6. Да не се различават граматически отговорите.

7. Да не се използват очебийни правилни отговори.

8. Да не се групират дистракторите, за да се „види“ правилният отговор.

9. Да не се използват очевидни дистрактори.

Правила за писане на дистрактори:

1. Всички дистрактори трябва да изглеждат правдоподобно.

2. Да се използват за дистрактори типични грешки на учениците.

Правила за изображенията в задачите

Визуалното оформление на задачата трябва единствено да съдейства за по-бързото и лесно възприемане на условието й, а не да разсейва ученика. Когато няма пряка връзка с решението на задачата, то трябва да се избягва.

Разработване на тестовите въпроси и задачи

Основната цел при конструирането им е тестът да е надежден инструмент за измерване на резултатите от учебната работа по предмета в национален план. Подбрано е съдържание, разработено еднакво добре във всички учебници, за да се дадат равни възможности за всички ученици. Стремежът е въпросите да отговарят на учебното съдържание, да са поставени точно, ясно и недвусмислено, верният отговор да е само един, в условието или във възможните отговори да няма подсказки, както и подвеждане. Едновременно с това вниманието ни е насочено към съобразяване с това, дистракторите да са еднакво привлекателни за учениците с несигурни знания, за да се намали възможността за случайно посочване на верния отговор, неправилните отговори да са приемливи и правдоподобни. Ефективните дистрактори помагат да се откроят онези, които са подготвени добре за конкретното учебно съдържание, от онези, които са с нестабилни знания. Въпросите се конструират така, че да проверяват не само усвоени знания, но и да провокират мислене, което да покаже разбиране и умение за приложението им.

Примери за въпроси с избираем отговор, свързани с някои от основните изисквания, на които се подчиняват:

Въпросите със свободен отговор се делят на няколко групи: изискващи отговор от една-две думи, едно-две изречения или писане на по-дълъг текст. При тях освен ясната формулировка много важно е да се създадат и ясни, точни, конкретни, измерими критерии за оценяване, за да бъде избегнат моментът на субективност при оценката им. Това насочи към избор на въпроси, изискващи отговор от една-две думи, които да изключват прекалено голямо многообразие и вариативност, за да се стандартизира критерият за оценка. Например:

„Запишете коя река свързва България с част от европейските страни. ……………………….“

„През 681 г., след победа над византийците, българите се съюзили със славяните и създали……………………………………… Начело застанал хан……………………………“

Изводи от априорна и апостериорна проверка на качествата на задачите Оценяването на тестовите задачи от оценителите като процедура на априорната проверка на задачите показа, че в голяма степен разработчиците им са спазили изискванията – както по отношение на предвидените за измерване познавателни равнища, така и по структурата на самите задачи. Няма обобщени данни от експертната оценка.

Апробацията на тестовите задачи със свободен отговор е осъществена през март–април 2013 г. Фактът, че на апробация са представени всички разработени задачи със свободен отговор – с предложените от експертите корекции, е сам по себе си показателен.

Анализ на качествата на задачите със свободен отговор

Налагащите се от данните изводи са следните:

Според нивото на неотговорилите:

Само задача 1 показва под 5% (обичайно ниво) на неотговорилите. Задачи 2, 3, 4, 6, 7 и 8 имат ниво на неотговорили под 10% – допустимо ниво, предполагащо обаче известна предпазливост при изводите. Задача 10 има процент неотговорили над 5%, но под 10% – все още допустимо ниво, също предполагащо предпазливост при изводите. Задачи 5, 11 и 12 имат ниво на неотговорили над 10% – възможен е проблем с групите ученици в неравностойно положение (културологични особености на съдържанието, владеене на езика).

Според трудността:

Повечето задачи са от много лесни към лесни. Задача 9 е гранична – лесна към много лесна. Задачи 2, 5 и 10 са със средна трудност, задача 11 е много трудна, дори за далите валиден отговор. Задача 12 е лесна за далите валиден отговор.

Дискриминативната сила на въпросите варира от допустима до добра за практически цели.

Профил на резултатите

Типичното за съответната група поведение е поведението с честота 50 и повече процента. Това ни дава основание да направим следните изводи:

1. Всички задачи имат трудност над 50% за първа група. Следователно тази задачи са с типична трудност за групата с постижения под средните за учениците, дали валиден отговор. Задача 11 има трудност под 50% за групи 1 и 2 и над 50% за група 3. Следователно тази задача е с типична трудност за групата с постижения над средните за учениците, дали валиден отговор. При задача 12 групата със средни постижения показва по-ниски резултати от групата с ниски резултати. Като се имат предвид особеностите на задачата, възможно е въпросът да не е разбран от учениците с културологични проблеми.

2. Високият процент неотговорили на задачи 11 и 12 е сигнал за проблем при овладяване на съдържанието от групи ученици в неравностойно положение по културологични особености.

Заключение

Подборът на съдържание на тестовите въпроси и задачи във висока степен съответства на учебното съдържание в действащите учебници, макар и да не го покрива напълно и на всички равнища. Разработчиците на задачите, от своя страна, са спазили изискванията и по отношение на предвидените за измерване познавателни равнища, и по структурата на самите задачи – формулировки на условията и на отговорите. В тази връзка, в хода на следващото оптимизиране на теста би било добре да се доразработи банката от задачи, като всеки елемент от учебното съдържание, чието овладяване се предвижда за измерване, да се целеположи и на трите познавателни равнища, като за всяко от тях ще се разполага със съответни задачи. Новите за системата за външно оценяване задачи със свободен отговор не затрудняват съществено учениците (с изключение на посочените случаи) и се приема, че са добър диагностичен инструмент.

Приложение 1

Модул 1

Задача 1

Допълнете с правилната дума.

Да подготвя домашните си, да уважава учителите и съучениците си – това са _______________________ на ученика.

Задача 2

Допълнете с правилните думи.

През VII век, след победа над византийците, българите се съюзили със славяните и създали _______________________________________. Начело застанал __________________________.

Задача 3

Посочете коя планина е описана в текста.

Обширна планина в Южна България. На север от нея се простира Горнотракийската низина. На запад достига до Рила и Пирин.

___________________________

Модул 2

Задача 4

Допълнете с правилната дума.

За образованието и възпитанието на учениците в клас отговарят техните _______________________.

Задача 5

Посочете за кои две племена се отнася написаното.

Почитат бог Тангра, предводителят им се нарича хан, занимават се предимно с животновъдство, отлични бойци – конници.

1. ___________________________

Почитат като върховен бог Перун, предводителят им се нарича княз, занимават се предимно със земеделие, тръгват в битка пеш.

2. ___________________________

Задача 6

Посочете коя плавателна река свързва България с други европейски страни.

_________________________

Модул 3

Задача 7

Допълнете с правилните думи.

За да засили авторитета на България и да обедини славяни и българи в един народ, княз __________________ приема ___________________________.

Задача 8

Подредете правилно имената на следните известни личности:

Христо Ботев, Паисий Хилендарски, Софроний Врачански, Васил Левски.

Революционери са:________________________________________

Народни будители са: ____________________________________

Задача 9

ПосочетекоярекаизвираотРила, преминавапрезСтарапланина, протичапрез Дунавската равнина и се влива в Дунав. ______________________________

Модул 4

Задача 10

Допълнете с правилната дума.

Да бъде уважаван и изслушван, да получава добро образование – това са _______________________ на ученика в училище.

Задача 11

Допълнете с правилните думи.

През 1870 година _____________________ на Османската империя издава документ, с който признава правото на българите да имат отделна българска църква. Така се създава българската _______________________ .

Задача 12

Посочете коя река извира от Рила, протича през Горнотракийската низина и се влива в Бяло море. __________________________________

БЕЛЕЖКИ

1. „Човекът и обществото“ – 3. и 4. клас, с автори М. Радева, М. Манева, М. Мандова и с автори С. Стоянова и Л. Манева – изд. „Просвета“, и автори Румяна Кушева, Румен Пенин – изд. „Булвест – 2000“.

ЛИТЕРАТУРА

Алексиева, Е. (1994). Разработване на тестове за проверка и оценка на знанията. София.

Анастази, А. (1980). Психологическое тестирование. Москва.

Бижков, Г. (1988). Педагогическа диагностика. София: Народна просвета.

Бижков, Г. (1996). Теория и методика на дидактическите тестове. София: Просвета.

Бижков, Г. Стоянова Ф.(2004). Тест за диагностика на готовността на децата за училище. Книга за учителя. София: УИ. „Св. Климент Охридски“.

Бъчева, С. (1984). Проверката и обратната информация в обучението. София: Народна просвета.

Ганчев, Г., Делчев М., Нонова Б. (2004). Методика на педагогическите изследвания. Ст. Загора.

Делор, Ж. (1997). Образованието – скритото съкровище. Доклад на Международната комисия за образование за XXI век пред Юнеско.

Каларова, Ц. (1998). Основни правила за конструиране на тестови задачи с изборен отговор. сп. „Начално образование“, 6–7.

Кирилова, Д., Петров П. и др. (1993). Дидактически тестове (1.–3. клас). Ст. Загора.

Кирилова, Д., Петров П., Богданова М., Василева Б,. Петрова В. (1994). Дидактически тестове. Ст. Загора.

Миркович, М. (1994). Формиране на понятията при обучението по основи на икономическата теория. сп. „Образувание и квалификация“ 1.

Пирьов, Г. (1974). Основни проблеми на психодиагностиката. София: Народна просвета.

Радева, М., Манева, М., Мандова, М. (2004). Книга за учителя по „Човекът и обществото“. София: Просвета.

Радева, М., Манева, М., Мандова, М. (2004). Учебник „Човекът и обществото“. София: Просвета.

Радева, М. и колектив. (1992). Учебник по родинознание. София: Просвета.

Сметал, В. (1988). Теория на измерването. В сб. Диагностика на психичното развитие. София.

Стоянова, С., Манева, Л. (2004). Учебник „Човекът и обществото“. София: Просвета.

Стоянова, Ф., Кафтанджиев. (1996). Типични грешки в тестовете по български език. сп. Начално образование, 4.

Bloom, B., J. Hastings & G.Madaus. (1971). Handbook on Formative and Summative Evaluation of Student Learning. , N.,Y. Mcgraw-hill.