Резюме. Електронните тестове са важен елемент в структурата на електронното учебно съдържание на някои университетски курсове по география в Югозападния университет в Благоевград. Те биват текущи – след всеки раздел, или заключителни – в края на семестъра, като в зависимост от вида си участват с различна относителна тежест при формирането на текущата оценка на студентите. Описана е разликата в тяхната структура, функции и методическо приложение. Анализирани са получените резултати от електронните тестове по една и съща дисциплина при различни курсове студенти в рамките на две учебни години. На тази база са направени заключения за ефективността на електронните тестове като част от образователния процес.

Ключови думи: e-learning, formative tests, summative test

Увод

Провеждането на електронни тестове по отделни географски дисциплини в Югозападния университет (ЮЗУ) „Неофит Рилски“ датира от 2007 г., като през първите години беше използвана платформата за електронно обучение Moodle, включително и за целите на кандидатстудентската кампания (Drenovski & Dureva, 2008). Първоначално броят на въпросите, въведени в тестовия модул на системата, беше относително ограничен и електронни тестове се използваха само в края на семестъра за оформяне на текущата оценка по съответната учебна дисциплина. През 2013 г. в изпълнение на дейностите по проект за развитие на електронни форми на дистанционно обучение в ЮЗУ „Неофит Рилски“ беше купена платформата за електронно обучение Blackboard Learn™ и през есента на същата година за работа с нея бяха обучени преподаватели от Университета. Непосредствено след това авторът на статията започна разработването на учебно съдържание по две задължителни дисциплини от учебния план за образователно-квалификационната степен (ОКС) „бакалавър“ на специалност „География“, едната от които в съкратен вариант и с редуциран хорариум се чете и за специалност „Педагогика на обучението по география и история“ (ПОГИ).

Структуриране на електронното учебно съдържание

От учебната 2014 – 2015 година преподаването на дисциплините „Природна география на България“ и „Теоретични основи на географските изследвания“ се провежда с използването на платформата за електронно обучение Blackboard Learn™. Освен предоставянето на основното учебно съдържание по дисциплините, свързано с лекционния материал и осигуряването на лесен и направляван достъп до тематично обвързани външни източници на информация, постепенно се засили използването на тестовия модул на системата с цел активизиране на самостоятелната подготовка на студентите по време на семестъра и осъществяване на почти непрекъснат текущ контрол върху нивото на техните знания. В процес на окомплектоване е учебното съдържание по дисциплината „География на страните“, като за момента изпреварващо се разработва и прилага тестовият модул.

Учебното съдържание по всяка от посочените дисциплини е структурирано в няколко основни рубрики от главното меню, най-важни от които са „Анотация на дисциплината“ и „Съдържание на курса по раздели и теми“. В първата от тях се дава кратко описание за целите на курса, методите на преподаване и оценяване по дисциплината, както и на структурната последователност на изложението на материала. Втората рубрика включва отделни папки със съдържание, отговарящи на всеки от разделите, в които като самостоятелни елементи са предоставени текстови и картографски материали, както и линкове към външни предимно географски сайтове. Най-накрая на всеки раздел е включен електронен тест за проверка на съответните знания. Последната папка от втората рубрика е озаглавена „Оформяне на текуща оценка“, като в нея са качени изискванията за изготвяне на реферат и картни приложения. Там се намира и заключителният семестриален тест по дисциплината, включващ въпроси върху цялото учебно съдържание.

Структура на електронните тестове

В структурно отношение електронните тестове по всяка от дисциплините включват различен вид и брой въпроси с различна диагностична роля. За текущите и заключителните тестове в една и съща дисциплина се използва една и съща база данни от въпроси.

Текущите или формиращите тестове по дисциплината „Природна география на България“ са идентични по отношение на своя формат и включват по 9 въпроса, като максималният възможен резултат за всеки от тях е 18 точки. По-голямата част от въпросите в тези тестове са от класически затворен тип (със структуриран отговор) с един верен от четири възможни отговора. В интерфейса на платформата Blackboard Learn™ това се обозначава като въпрос с „няколко възможни отговора“. Преобладаващата част от тях целят проверка на възпроизводството на знания. Във всички тестове този вид въпроси носят по две точки при верен отговор. Включват се по два въпроса за алтернативен избор от типа „вярно – невярно“, които са насочени към проверка на концентрацията. Много често в базата от въпроси те са представени от двойка идентични, но инверсно формулирани въпроси. Верният отговор при тях се оценява с една точка, защото изборът е сведен до 50:50.

В текущите тестове присъства един, а в заключителните – няколко въпроса от отворен тип с варианти или за допълване две празни места в едно изречение, или изискващи кратък отговор, свързан с наименованието на даден географски обект, процес и негови пространствени и времеви характеристики. Първата от тези разновидности на отворените въпроси е свързана с оценка на асоциативното мислене при репродукцията на знания. За всеки правилен отговор тук се дават по три точки, или максимум шест за въпроса. Втората посочена разновидност на отворените въпроси цели главно оценка на когнитивните способности за преструктуриране на знанията при различен аспект на задаване на въпроса в сравнение с изложението на материала в лекционния курс. Верният отговор носи четири точки.

Базата от въпроси е структурирана в тематично и типово синхронизирани групи, наричани „урни“ в интерфейса на платформата Blackboard Learn™. Те са основа за създаването на тестовете чрез използването на т.нар. „произволни блокове“, в които могат да се включват въпросите от една или няколко урни или отделни подбрани въпроси, без да има строго изискване в това отношение. Задава се броят на въпросите в произволния блок, които на случаен принцип трябва да бъдат подадени в автоматично генерирания от системата уникален вариант на теста при всеки един опит въз основа на случайна пермутация на въпросите от произволните блокове. Никой от тестовете не е фиксиран, т.е. включващ едни и същи строго определени въпроси.

Методическо приложение на електронните тестове

Напълно разбираемо, извън общата мотивираща функция за постигане на по-висока текуща оценка през семестъра, текущите и заключителните тестове имат различни цели. Едни от най-важните функции на тестовете са диагностичната, обучаващата и възпитателната (Bijkov, 1996). Според Кръстева1) текущите тестове имат чисто регулативна роля по отношение на самите обучаеми за преценка на степента на усвояване на материала и коригиране на пропуските. Може да се допълни, че тестовете в края на всеки раздел от дисциплината имат не толкова диагностицираща функция от гледна точка на преподавателя, колкото обучаваща функция от гледна точка на студентите. Тяхната цел е усвояване и затвърждаване на съответното учебно съдържание чрез използването на значителен брой тематично обвързани, но различни въпроси, обособени в няколко групи с приблизително еднаква степен на трудност. Това се постига чрез задаване на опция за неколкократно (от 2 до 4 пъти) решаване на уникален, произволно генериран от системата вариант на теста от страна на всеки от студентите с включване на определен брой въпроси от всяка урна на случаен принцип. Според Ivanov (2012) повторното тестиране има особено силен обучаващ ефект. За това допринася и прегледът на всички въпроси с дадените отговори след приключването на теста, посочването на верния отговор и предоставянето на допълнителна информация по въпроса в случай на грешен отговор. На студентите се дава възможността да решават текущите тестове от всяко място с достъп до интернет и по всяко време в рамките на зададен времеви интервал на достъпност (обикновено 2 седмици) и ограничено време за решаване (около 4 – 6 минути) при всеки опит. Това предполага използването на всякакви помощни материали и интернет ресурси, изграждането на навици за търсене и бързо отсяване на нужната информация, както и прибягването до помощта на колеги. Боравенето с различни източници на данни, ученето в движение и изграждането на умения за екипна работа са съпътстващи цели на приложението на електронните тестове в дадения случай, в по-различен от класическия диагностичен методически контекст. Така се реализира възпитателната функция на текущите тестове. Допълнителен стимул за усвояване на учебното съдържание по съответния раздел е прилагането на опцията за включване на най-високия постигнат резултат като брой точки от решаването на теста след всеки раздел при формирането на текущата оценка. Тази организация на решаване на електронните тестове засилва тяхната обучаваща функция и би могла да се дефинира като мотивационно стимулирана, отворена или свободна (без непосредствен контрол от страна на преподавателя). Периодичното решаване на тестове след всеки раздел от учебното съдържание допринася за системността в процеса на оценяване и контрол на знанията. Това, разбира се, е възможност, принципно предоставяна от тестовия модул в платформата за електронно обучение Blackboard Learn™, а дали ще се възползва от нея, зависи от методическия избор и творческия подход на всеки преподавател.

Заключителните семестриални тестове имат изцяло диагностицираща и контролираща нивото на усвоените знания функция. В тях се включва поне по един въпрос от всяка урна (група) въпроси, използвани при текущите тестове, с което се реализира комплексността на оценяването. Те се провеждат в края на семестъра в компютърна учебна зала под контрола на преподавателя. При по-голям брой студенти това става последователно, на групи, но без риск за изтичане на информация или преписване поради генерирането на индивидуален вариант на теста за всеки един от изпитваните от значително по-голямата база въпроси, структурирани по раздели, видове и методически цели. Възможностите за преписване са сведени до практическия възможен минимум чрез използването на функции като произволна позиция на правилния отговор сред дистракторите, произволна последователност на подаването на въпроси, визуализирането им един по един и забрана за връщането към предишен въпрос, на който вече е даден отговор.

Важен елемент при някои от разглежданите електронни тестове е използването на снимки, сателитни изображения или картографски материали при задаването на някои от въпросите, поради което те могат да се разглеждат и като мултимедийни (Drenovski, 2015).

Анализ на резултатите от решаването на електронните тестове

Както и други платформи за електронно обучение, Blackboard Learn™ предоставя възможност за изготвяне на Item analysis, който дава сведения за разграничителната сила на въпросите и за тяхната трудност, основаващ се на автоматизирана статистическа обработка на данните за постигнатите резултати и посочените отговори за всеки от отделните въпроси, включени в съответния тест. Тези възможности обаче са силно ограничени и това следва да се изтъкне като съществен системен недостатък. При айтеманализа в Blackboard Learn™ се използват само отговорите на въпросите от последния подаден опит на съответния тест на всеки от студентите, но няма опция за обработка на всички отговори на едни и същи въпроси, включени в различните уникални варианти на един и същи текущ тест при многократното му решаване. Не е предвидена настройка за обща статистическа обработка на всички въпроси, включени в различни тестове (текущи и заключителни). Също така не е възможна сумарната статистическа обработка на едни и същи въпроси участвали в генерираните тестови варианти в едноименните дисциплини (с идентично учебно съдържание) поради създаването на отделно обособени електронни варианти за всеки курс студенти през отделните учебни семестри и години. Поради тези системни ограничения, както и във връзка с големия брой въпроси и включването им на случаен принцип в тестовете, редица от въпросите, които са били „разиграни“ в по-малък брой случаи не могат да бъдат надеждно категоризирани от системата нито по степен на трудност, нито по разграничителна сила (фиг.1).

Тъй като до момента броят на проведените тестове е най-голям в електронните варианти на курсовете по дисциплината „Природна география на България“, именно те са използвани за целите на анализа. Това включва общо три едноименни курса – един през летния семестър на 2014/2015 и два през 2015/2016 учебна година (по един през всеки семестър), съответно за специалностите „География“ и „Педагогика на обучението по география и история“ (ПОГИ). Общият брой на електронните тестове в дисциплината за специалност ПОГИ е пет (четири текущи и един заключителен), а за специалност „География“ – шест (5+1).

Според стойностите на разграничението системата класифицира въпросите на „добри“ (разграничение >0,3), „справедливи“ (от 0,1 до 0,3) и „лоши“ (<0,1). Най-общо казано, добри са въпросите, при които е налице съответствие между даване на верен отговор и постигането на по-висок сумарен резултат на теста или респективно даване на грешен отговор и постигане на по-нисък краен резултат от страна на съответните студенти.

В процеса на усъвършенстване на базата данни от въпроси част от „лошите“ въпроси бяха премахнати от съответните групи. Като краен резултат общият брой въпроси бележи тенденция към слабо намаляване за всеки от тестовете. Съпоставени са данните за разпределението на въпросите според трудността им от едноименните тестове за двете специалности (таблица 1). Системата категоризира въпросите на „лесни“ (>80% верни отговори), „средни“ (от 30 до 80%) и трудни (<30%). Това групиране обаче е твърде условно и не може да се възприеме за меродавно поради системните недостатъци на айтем-анализа в Blackboard Learn™, за които беше споменато по-горе, и по-ради различната организация на провеждане на текущите и заключителните тестове.

Прави впечатление, че в тестовете след всеки раздел от учебното съдържание огромната част от въпросите се отнасят към първите две групи („лесни“ и „средни“), което се дължи на неколкократното решаване на едноименните тестове и статистическата обработка на данните от последния опит на всеки от студентите. Това потвърждава значимостта на обучаващата функция на текущите тестове. Средният успех от последните опити на текущите тестовете е от порядъка на 60 – 75% от максималната оценка. Не така обаче стоят нещата при заключителните семестриални тестове. Както се вижда, при тях трудните въпроси преобладават, а средната успеваемост е в рамките на 30 – 40%. Очевидното несъответствие по отношение на категоризацията на практически едни и същи въпроси по степен на трудност и различната успеваемост в отделните тестове имат своите логични обяснения.

1) На първо място, решаването на тестовете след всеки раздел става в домашна обстановка, без контрол от страна на преподавателя.

2) Освен това те се решават неколкократно и при евентуалното повторно включване на даден въпрос в следващия генериран от системата вариант на съответния тест е напълно закономерно след първото решаване да се дава верен отговор.

3) На трето място, поради големия брой въпроси в отделните урни в заключителните тестове е много вероятно да попаднат въпроси, които не са били включени в индивидуално генерираните варианти на текущите тестове за съответния обучаем, следователно са непознати и затрудняват студентите в по-голяма степен.

4) Четвърто, както беше посочено по-горе, заключителните тестове се провеждат в компютърна учебна зала под контрола на преподавателя, при използване на всички възможности на системата за ограничаване на подсказването и преписването.

За съжаление, се налага се изводът, че въпреки неколкократното решаване на текущите тестове по време на семестъра и неминуемото повторение на една част от въпросите не е налице трайно усвояване на знания от страна на студентите. Това в особена степен важи за студентите от специалност ПОГИ, които са се справяли относително по-добре на всички тестове през семестъра, но са постигнали значително по-нисък резултат на заключителния семестриален тест. За обяснението на това несъответствие може да се използва функционалността на платформата за електронно обучение Blackboard Learn™, която дава възможност за изготвяне на различни видове доклади за активността на потребителите във всеки един от курсовете за период от 180 дни назад. На тази база е възможно ориентировъчно съпоставяне на резултатите от тестовете и активността на студентите през всеки семестър като общо средно претеглено време за използване на предоставените им ресурси в електронен вид (таблица 2).

Веднага прави впечатление, че студентите в специалност „География“ са отделили средно над шест часа за работа по дисциплината „Природна география на България“ в електронната платформа, докато техните колеги от специалност ПОГИ са се задоволили само с около три часа работа, или двойно по-малко. Следва да се има предвид, че при цялата условност на тези усреднени стойности те са показателни за мотивацията на студентите от хибридната педагогическа специалност. Като се има предвид, че във всеки следващ семестър ресурсите в съответния електронен курс са се увеличавали, би следвало да се очаква студентите при добросъвестно отношение да отделят повече време за запознаването с тях. Това се потвърждава за специалност „География“, но не и за специалност ПОГИ.

Заключение

Налага се изводът, че обучителната функция на електронните тестове няма дълготраен ефект по отношение на усвояването и затвърждаването на учебното съдържание по съответната дисциплина. Най-съществено значение за това има съзнателното отношение към учебния процес и времето, което студентите отделят за посещение на учебни занятия и за самостоятелна работа. Присъствието и използването на ресурсите в електронната система е само част от самостоятелната подготовка на студентите, но то е показателно за общата им нагласа за постигане на максимална полза с минимум усилия и „загуба“ на време. Очевидно е, че тестовете по време на семестъра сами по себе си успяват да генерират краткотраен интерес, свързан със стремежа за постигане на по-висока текуща оценка, но не повлияват в положителна посока върху цялостната мотивация на студентите. Добрата новина е, че многократното решаване на електронни тестове за ограничено време се възприема лесно от обучаемите, но настройката за решаването им е твърде неангажираща. Необходимо е да се търси прилагане на други методически подходи и създаване на различна организация за провеждане на електронните тестове, която да стимулира съзнателното и отговорно, а не самоцелно отношение към тях като към вид електронна игра.

NOTES / БЕЛЕЖКИ

1. http://www.cet-vtu.com/site/bul/et2_2.html

REFERENCES / ЛИТЕРАТУРА

Bijkov. G. (1996). Theory and methods of didactical tests. Sofia: Prosveta [Бижков, Г. (1996). Теория и методика на дидактическите тестове. София: Просвета].

Drenovski, I. (2015). Multimedia tests in geography. Chemistry, 24, 691 – 700 [In Bulgarian].

Drenovski, I. & Dureva, D. (2008). Izgotviane na on-line kakdidatstudemtski testove po geografia na Balgaria chrez izpolzvane na obrazovatelnata platforma Moodle. Geografia 21, No. 21, 26 – 31 [Дреновски, И. & Дурева, Д. (2008). Изготвяне на on-line кандидатстудентски тестове по география на България чрез използване на образователната платформа Moodle. География’21, № 2, 26 – 31].

Ivanov, A. (2012). Geografskite testove: sashtnost, specifika i praktika na geografskoto testirane: uchebno pomagalo za uchiteli, kandidat-studenti i student. Sofia: Delfi [Иванов, А. (2012). Географските тестове: същност, специфика и практика на географското тестиране – учебно помагало за учители, кандидат-студенти и студенти. София: Делфи].