Резюме. В статията е представен алгоритъм за създаване, провеждане, оценяване и усъвършенстване на динамичен електронен тест с формат на матура по география, като част от дейностите по кандидатстудентската кампания на Югозападния университет „Неофит Рилски“ – Благоевград, през 2016/2017 г. Тестът е апробиран в училища от различни части на страната – Благоевград, Петрич, Кюстендил, Сливница, Враца, Видин, Велинград и Димитровград, с участието на 86 ученици от XI и XII клас. Благодарение на автоматизираната статистическа обработка на отговорите в тестовия модул на платформата за електронно обучение Blackboard Learn са редуцирани част от въпросите в базата данни на електронния тест по география, а други са редактирани.

Ключови думи: matriculation exam in geography; online dynamic e-test; itemanalysis

Увод

Като част от кандидатстудентската си кампания, още през 2015/2016 г. Природо-математическият факултет (ПМФ) на Югозападния университет „Неофит Рилски“ (ЮЗУ) проведе безплатни състезания с формат на матура по математика в няколко училища от Благоевградска област. Учениците и учителите подкрепиха идеята и я оцениха като ефективна и полезна. В резултат през 2016/2017 г. инициативата се разрасна и бяха организирани „Състезания с формат на държавен зрелостен изпит“ не само по математика, но и по природни науки (биология, география, химия и физика). След проверка на писмените работи от университетски преподаватели в Благоевград учениците получават специален сертификат, оценката от който се признава за положен кандидатстудентски изпит. С него може да се кандидатства за всички специалности в ПМФ. В допълнение, от началото на 2017 г., засега единствено за състезанието по география, се предлага провеждането му и под формата на електронен онлайн тест.

Организация и провеждане на състезанията

В провеждането на състезанията с формат на матура могат да се разграничат три основни етапа – на подготовка, провеждане, оценяване и сертифициране.

В началото на подготвителния етап по електронната поща се разпращат писма от декана на ПМФ до директори на училища в региона. В тях се обяснява, че участието на учениците е напълно безплатно, а провеждането на състезанията се извършва на място в съответното населено място в съгласуван с директорите ден и час. Изисква се предварителна заявка само за броя на явяващите се ученици по всеки от природо-математическите предмети с цел окомплектоването на изпитните материали. За явяващите се на електронен тест по география се изисква списък с имената и фамилиите на учениците, подписан от учител. Кореспонденцията се осъществява по електронен път до специално създадена за целите на кандидатстудентската кампания на ПМФ пощенска кутия pmf_ksk@swu.bg. Въз основа на получените заявки се подготвят съответният брой изпитни материали на хартиен носител за всеки от изпитите. За електронния тест по география се създават индивидуални акаунти на учениците в системата за електронно обучение на ЮЗУ „Неофит Рилски“, базирана на платформата Blackboard Learn. Те съдържат кодирано потребителско име и парола, които се изпращат до учителите по география и се предоставят на учениците непосредствено преди започване на изпита.

В уговорения ден преподаватели и служители от ПМФ пристигат в съответното населено място с подготвените изпитни материали и изпълняват ролята на квестори по време на провеждане на състезанията. Продължителността на изпитите по отделните предмети е различна, но строго регламентирана, най-често два астрономически часа. След приключването им писмените работи се запечатват в големи хартиени пликове, вътре в които се поставя малък плик с имената на ученика с цел шифриране на работите.

Електронният тест по география се провежда на място в компютърните кабинети на училищата под контрола на учители. Времето за решаването му е ограничено до един астрономически час, но се позволява извършването на два последователни опита, като за окончателна се взима по-високата получена оценка.

Третият етап при тестовете на хартиен носител започва с шифриране на материалите. Следва анонимна проверка и оценяване от университетски преподаватели в съответната научна област. След дешифриране на работите се изготвят списъци в табличен вид с имената на учениците и получените оценки за всяко училище поотделно.

Оценяването на електронните тестове по география се извършва автоматично според заложените критерии. Учениците могат да видят получената оценка веднага след приключване на теста. Тя обаче не е окончателна и подлежи на доуточняване след обстоен преглед на всички опити от преподавател. Крайните оценки се извеждат във вид на екселски файл и се разпечатват в табличен вид.

Въз основа на представените списъци от оценителите екип от административни служители във Факултета изготвя поименни сертификати, които се подписват от декана. След това се изпращат с препоръчани писма до всяко едно училище.

Структуриране и оценяване на електронния тест по география

Форматът на електронния тест по география съответства напълно на регламентирания брой и вид тестови задачи за провеждане на държавен зрелостен изпит по предмета „География и икономика“. Всички въпроси са разпределени в 38 групи.

Първите 30 от тях съдържат само въпроси от затворен тип с един верен от четири възможни отговора. За верен отговор се присъжда 1 точка. Тематично в 12 от групите са включени въпроси от раздела „География на света“, а в останалите 18 – от „География на България“. Преобладаващата част от тези групи включват въпроси на ниво репродукция, а около 1/3 – въпроси за разбиране.

Следват 6 групи с отворени въпроси, за които се изисква кратък отговор с изписване на наименованието на географски обект, термин или явление. Отговорът на въпросите за възпроизводство на знания в първите три от тези групи се оценява с по 2 точки. Следващите три групи включват въпроси за разбиране и се оценяват с по 3 точки.

Последните две групи включват практически задачи, при които по картографска основа трябва да бъдат разпознати различни географски обекти – континенти, острови, полуострови, реки, градове и други. В първата група са задачи от раздела „География на света“ с разпознаване на по 10 обекта, а във втората – от „География на България“ с по 15 обекта. Всеки правилно посочен обект носи 1 точка.

Общият максимален брой точки от теста е 70. Постигнатият резултат от всеки опит се преобразува автоматично в оценка по шестобалната система. Това става чрез преобразуването на точките в проценти по скáла, близка до официално оповестената за оценяване на матурите, но с равномерна стъпка. Тази стъпка се прилага след постигането на 16 точки (23%), необходими за оценка „Среден 3,00“.

В интерфейса на платформата за електронно обучение Blackboard Learn отделните групи въпроси се обозначават като „урни“. В съответствие с учебната програма за матурата по география и икономика всяка от създадените урни е тематично обособена. Въпросите в нея са от един тип и проверяват едно когнитивно равнище на знания, както беше посочено по-горе. Във всяка група са включени от 10 до 15 различни въпроса. Общият брой на въпросите в базата данни е 477.

Настройките в системата са задават така, че при започване на нов опит автоматично се генерира уникален вариант на теста въз основа на произволно изтегляне на по един въпрос от всяка група. Поради тази причина тестът се дефинира като динамичен, а не като статичен или фиксиран. Така се ограничават възможностите за подсказване и преписване в компютърните кабинети и практически се гарантира решаване на различни варианти на теста от всеки ученик при провеждането на двата разрешени опита.

Възможности за усъвършенстване на базата с въпроси към електронния тест

Голямото предимство на електронните тестове, от гледна точка на преподавателите, е, че при тях съществуват възможности за бърза статистическа обработка на подадените отговори по отношение на трудността и разграничителната сила на въпросите. В тестовия модул на платформата за електронно обучение Blackboard Learn, подобно на други системи, това се реализира чрез инструмента Item analysis. Като краен резултат част от въпросите могат да отпаднат от базата данни, а други да бъдат редактирани и преформулирани в съответствие с набелязаните дидактически цели.

Недостатък на системата е, че при статистическата обработка на отговорите на въпросите не се включват всички направени опити, а само последният опит на всеки от учениците, което намалява извадката и достоверността на анализа. В дадения случай това свежда обема на извадката от общо 113 опита за решаване на теста до 86 (приблизително 76%). Поради многото въпроси в базата данни редица от тях са изтеглени в различни варианти на теста недостатъчен брой пъти за получаването на надеждни заключения относно тяхната трудност и дискриминативна сила. В тази връзка, се възприе да бъдат разглеждани и евентуално редактирани само въпроси, които са попаднали в изпитни варианти поне четири пъти. Въпросите, изтеглени три или по-малко пъти, отпаднаха от по-нататъшен анализ. Техният брой е общо 58.

По степен на трудност системата автоматично разпределя въпросите в три групи: лесни (верни отговори >80%), средни (от 30 до 80%) и трудни (верни отговори <30%). Както се вижда на фиг. 1, от общо 477 въпроса 136 са класифицирани като лесни, 280 – като средни, и 61 – трудни. След приспадане на въпросите, изтеглени три или по-малко пъти, във всяка група остават съответно 117, 256 и 50 въпроса.

С цел усъвършенстване на базата с въпроси се възприе да отпаднат изключително лесните с получени 100% верни отговори (45 на брой) и изключително трудните, при които няма нито един верен отговор (6 на брой), или общо 51 въпроса. От останалите въпроси за прередактиране са определени тези с получени над 90% и под 10% верни отговори – съответно 18 и 2, или общо 20 въпроса.

Според стойностите на разграничението (дискриминативната сила) системата класифицира въпросите – на „добри“ (226), „справедливи“ (67) и „лоши“(102). Най-общо казано, добри са въпросите, при които е налице съответствие между даване на верен отговор и постигането на по-висок сумарен резултат на теста или респективно даване на грешен отговор и постигане на по-нисък краен резултат от отделния ученик (Drenovski, 2017). За 82 от въпросите, главно поради малкия брой направени опити, разграничението не може да се изчисли. От лошите въпроси въз основа на горепосочения критерий отпадат 10, а оставащите 92 се възприе да бъдат прегледани и редактирани.

Заключение

Електронният формат на теста предоставя предимства както на тези, които го решават, така и на преподавателите, които го администрират. Едно от тях е възможността за провеждането му във всяко училище, разполагащо с компютърен кабинет и връзка с интернет. Веднага след решаването на тестовете учениците получават обратна връзка за постигнатия резултат и допълнителна информация по въпросите, на които са дали грешен отговор. В това отношение електронните тестове имат недооценена обучителна функция, която по принцип не е така присъща за тестовете на хартиен носител. Изключително важно значение в случая има предоставянето на възможност за двукратно решаване на различни варианти на теста.

В резултат на айтем-анализа от общо 477 въпроса се стигна до отпадането на 51 от тях и редактиране на други 112. Актуализираната база данни от въпроси подлежи на последваща апробация и усъвършенстване след кандидатстудентската кампания през 2017/2018 година.

NOTES/БЕЛЕЖКИ

1. Доклад на научната конференция „30 години химическо образование в Югозападния университет „Неофит Рилски“, Благоевград, 19 – 21 октомври 2017 г.

REFERENCES/ЛИТЕРАТУРА

Drenovski, I. (2017). Use of electronic tests in teaching geography in the South-West university in Blagoevgrad. Chemistry, 26, 41 – 50 [In Bulgarian].