Явор Дечев

Publons iD: AAB-3524-2021
Department Computer Systems and Technology
“Vasil Levski” National Military University
Artillery Air Defense and CIS Faculty
Shumen Bulgaria
ORCiD: 0000-0003-1881-8727
E-mail: dechco99@yahoo.com

https://doi.org/10.53656/math2023-2-5-res

Резюме. Пандемията COVID-19 наложи изцяло да се промени начинът на живот. Екстремно всички образователни институции преминаха в неприсъствена форма на обучение. Настоящото изследване анализира промяната в степента на усвояване от студентите на учебния материал при изцяло електронно базирано обучение. Извършен е сравнителен анализ на получените точки от използвани за семестриален изпит електронно базирани тестове. Разгледани са постигнатите резултати на студентите при отделните типове въпроси и отговори. В заключение са направени предложения как да бъдат променени електронните тестове, за да се обхванат различните типове студенти според техните лични стилове за учене.

Ключови думи: e-learning; Moodle; тест; стил на учене

1. Увод

Кризата, породена от пандемията COVID-19, доведе до срив в образователната система. Преминаването към онлайн обучение във всички фази на образованието се извърши за броени дни. Голяма част от образователните институции нямаха материалната и методическата подготовка за дистанционно обучение. Учебното съдържание и методите за контрол на знанието не отговаряха на условията за електронно базирано обучение. Във времето се намериха решения за преодоляване на някои от тези проблеми. Същевременно се засили апатията от страна на ученици и студенти и тяхното желание за активно участие в образователния процес. Целта на настоящото изследване е да бъде извършен анализ на постигнатите резултати при онлайн изпитване на студентите в среда за електронно базирано обучение.

В последните години се наблюдава спад в нивото на образование на българските ученици. Част от участниците в изследването са били и в целевата група на международното изследване PISA 2015, проведено в България. В анализа на получените резултати се посочва, че:

– Около 25,2% от учениците в България използват ежедневно познание и елементарни процедурни знания, за да направят изводи на базата на несложни експерименти и проучвания. Откриват връзката между несложен модел и явлението, което той представя. Тълкуват буквално резултатите от научно изследване или технологично решение.

– Около 22,8% от учениците в България имат ограничени знания и умения по природни науки, които използват в еднотипни и познати ситуации. С помощ могат да проведат предварително структуриран експеримент с не повече от две променливи. Идентифицират проста причинно-следствена връзка или корелация. Тълкуват графично представени данни, които изискват ниски равнища на когнитивните умения“ (Petrowa 2016).

2. Стилове за учене

При създаване на въпросници за изпити, изпитни тестове и задания за изпитване съществуват няколко метода. Първият е да не се взима под внимание типът на обучаемия, както и неговите способности и желание за учене. Преподавателят изготвя материалите за изпита единствено съобразявайки се с учебното съдържание. Този метод е и най-лесен за изпълнение. Вариантите са минимален брой. Може да се използва шаблон при проверката на отговорите. Времето и усилията от страна на преподавателя за създаване и проверка са минимални. Същевременно методът не отчита особеностите на студентите. Те могат да учат по учебен план за бакалаври или магистри, в редовно или задочно обучение. Обучаемите от отделните категории учат по различен начин, имат различна предварителна подготовка и различни поставени цели. В допълнение, всеки човек има собствен начин за възприемане и интерпретиране на информацията.

Съвременното образование се развива в посока на създаване на гъвкава и адаптивна интелектуална среда за обучение. За разлика от модела на „класната стая“, при адаптивната система за обучение фокусът се измества от преподавателя върху обучаемия. Неговите цели и възможности за учене са главен критерий при създаване на учебния курс и промените в процеса на учене. При конструирането на адаптивна система за обучение може да се използва моделът на Felder-Silverman (Graf et al. 2007), (Syahrin &Salih 2020), (Zlatkovic et al. 2022). При него се дефинират няколко основни стила на учене, които се определят от следните въпроси:

– какъв вид информация обучаемият възприема – сетивна или интуитивна;

– чрез кои анализатори външната информация се възприема най-добре – визуално или вербално;

– как се преработва информацията – активно или рефлекторно;

– какъв е пътят на разбирането – постепенно или цялостно.

Особеностите на отделните стилове на учене са показани на Фигура 1.

За да бъдат обхванати всички стилове за учене, начините на задаване и на отговаряне на въпросите в изпитните тестове могат да бъдат различни. Част от въпросите се задават визуално. Студентът трябва да разбере какво вижда на дадено изображение, и след това да отговори на зададения му въпрос. Въпросите от тип „вярно/невярно“ и тези с единичен отговор, при който трябва да се избере дадено твърдение, са насочени към обучаеми, които трябва да покрият минималните изисквания за получаване на положителна оценка по дисциплината. Също така наличието на по-лесни въпроси в теста води до намаляване на психическото напрежение на студента по време на решаване на теста. На противоположната страна са т.нар. „ситуационни въпроси“ с отворен точен отговор. Те са насочени към разсъждаващи обучаеми с абстрактно мислене, които искат да по-стигнат максимален брой точки. Обикновено тези въпроси са комплексни и за правилното им отговаряне са необходими както знания от различни теми, така и от различни учебни дисциплини. В допълнение може да бъде посочено, че включването на различен тип въпроси и отговори намалява вероятността за натрупването на голям брой точки от верни отговори на принципа на случайния избор.

3. Организация на изследването

Изследването, представено в статията, е извършено в катедра „Информационни технологии“ на ВВМУ „Н. Й. Вапцаров“ със студенти от специалности „Киберсигурност“ и „Информационни и комуникационни технологии“ и курсанти от специализации „Кибероперации“ и „Военноморски комуникационни и радиотехнически системи“. Анализирани са резултатите от финалните тестове по дисциплините „Организация на компютъра и компютърни архитектури“ (ОККА) и „Компютърна периферия“ (КП). Дисциплините са хардуерно насочени. Водят се от един и същ преподавател. Лексиката, стилът на изготвяне и начинът на предоставяне на учебно съдържание са еднакви. Методиката за конструиране на електронно базираните тестове и въпросите към тях е една и съща.

За учебната 2019/2020 година има припокриване на два учебни плана. Едновременно една дисциплина се изучава от обучаеми от различни курсове. Съгласно първия учебен план и двете дисциплини са изучават в IV курс. „Организация на компютъра и компютърни архитектури“ в 7-и семестър, а „Компютърна периферия“ – в 8-и семестър. След промяна в учебния план дисциплините са преместени съответно в I и III курс.

Електронно базираните курсове включват различни видове учебно съдържание (Ikawati et al. 2021). Лекционният материал е във вид на компютърни презентации. Някои от тях са допълнени и с текстов вариант, предоставен под формата на pdf. Постоянното развитие на технологиите за производство на хардуер усложнява ежегодното обновяване на едноединствено учебно пособие по дисциплината в книжен формат. В условията на онлайн обучение всяка лекция или семинарно занятие се записва и студентите имат достъп до видеосъдържанието при самоподготовката си. Един от основните недостатъци на онлайн обучението е липсата на практически занятия с реална апаратура. В известна степен, те са заместени с практически упражнения във виртуална среда или задачи за самостоятелна работа. Контрол по тяхното изпълнение се извършва или чрез предаването от страна на студентите на протоколи или на снимков материал – екранна снимка или специално заснет с камера. Участниците в учебния процес имат достъп до всички учебни материали чрез интегрирания модел за електронно базирано обучение във ВВМУ, базиран на системата за електронно обучение (Learning Management System – LMS) Moodle, системата за видеоконферентна връзка Microsoft Teams и облачното пространство на Microsoft Office 365.

И по двете дисциплини контролът на знанието се осъществява чрез два електронно базирани теста. Първият от тях е само върху първата половина на изучавания учебен материал. Той е с по-малко въпроси и се включва с по-малка тежест при формирането на крайната оценка. Финалният тест включва целия учебен материал от дисциплината. Данните, използвани за извършване на настоящото изследване, включват резултатите на обучаемите от този тест.

Тестовете през 2019 г. са проведени присъствено, в среда на Moodle. През 2020 и 2021 г. се използва същата среда, но изпитът е изцяло онлайн. Защитата от неоторизиран достъп до отделния тест се осъществява чрез вградените инструменти за налагане на рестрикции в Moodle и контрол върху обучаемите чрез Microsoft Teams. От 2021 г. онлайн тестовете се провеждат в среда на защитен браузер, като за целта се използва Safe Exam Browser.

4. Статистическо изследване

Групите от различните специалности и изучаваните от тях дисциплини през съответните години са показани в Таблица 1. В изследването участват: поток А1/21 със 111 обучаеми; поток A1/20 с 80 обучаеми и поток A4/20 с 42 обучаеми. Обучаемите в потоците A1/19 и P3/21 са 37. Реално, изпитния тест е решен от 69 души от поток А1/19. Но тъй като след първи курс има прекъснали студенти или такива, които са презаписали, при извършване на сравнителния анализ са разгледани само резултатите на тези от тях, които са продължили образованието си и са решили изпитния тест по КП в III курс.

Обучаемите от поток А1/19 през целия първи курс и първия семестър на втори курс са били в присъствено обучение. До изпита им по КП те са учили онлайн половин семестър през учебната 2019/2020 година и половин семестър през 2020/2021 г. Обучаемите от поток А1/20 са преминали в онлайн обучение по време на втория семестър и са решавали теста в домашни условия. Обучаемите от поток А1/21 са завършили средното си образование онлайн. Почти целия първи курс в Университета са преминали в неприсъствено обучение.

По време на наложеното онлайн обучение голяма част от преподавателите използват различни мрежови платформи и услуги в учебния процес. Във ВВМУ Microsoft Teams и Google Classroom са имплементирани в учебния процес. Освен като платформа за видеоконферентна връзка и за предоставяне на учебно съдържание те се използват и за изпитване. И при двете платформи тестовете се конструират с помощта на инструменти за създаване на анкети. В Microsoft Teams те се конструират с по-мощта на Microsoft Forms. Това приложение е създадено основно за анкети. За разлика от Teams и Classroom, Moodle е пълноценна LMS, която разполага с модул за създаване на тестове за изпитване. В катедра „Информационни технологии“ на ВВМУ от няколко години е създаден интегриран модел за електронно базирано обучение, който включва две системи – асинхронната Moodle и синхронната Microsoft Teams. Системата за видеоконферентна връзка само допълва вече използваната система за управление на обучението. Авторът на публикацията e един от създателите на модела. Всички тестове, включени в изследването, са проведени в среда на Moodle. Натрупаните статистически данни са експортирани от вътрешната система за отчет на платформата.

За всяка изучавана дисциплина учебните материали, занятията и електронните тестове са еднакви за всички курсове. Изпитът по ОККА е от 60 въпроса, а по ПУ – 57. При конструирането на всеки от тестовете са включени въпроси от всички теми на съответната дисциплина. Банката с въпроси е разделена на групи, отговарящи на отделните теми. Всяка от тях включва „твърди въпроси“ и „извадка“. „Твърдите въпроси“ са включени задължително в тестовия вариант за всички обучаеми. Въпросите от „извадката“ са еднотипни и се включват на случаен принцип.

Въпросите могат да бъдат задавани текстово или да бъдат онагледявани с изображение. Начинът на задаване на въпроса може да бъде: „какво“ – описват даден технически компонент, технология или процедура; „твърдение“ – избира се дадено твърдение; „ситуационни“ – описват дадена реална ситуация. Технологично отговорите са разделени на 4 типа: „с множество отговори“ – избор от няколко описани действия; „кратък отговор“ – изписване на точен текстов или числов отговор; „връзки“ – свързване между 2 твърдения и „вярно/невярно“. Отговорите могат да представляват: „избор на път“ – предварително изписан път за извършване на дадено действие; „твърдение“ – избор между твърдения и свободен отговор.

Комбинацията от използвани въпроси и отговори в изпитния тест е показана в Таблица 2.

5. Анализ на получените статистически данни

За целта на изследването са разгледани всички изпитни тестове по двете дисциплини, положени от разглежданите потоци в отделните години. Направен е статистически анализ на крайните резултати от изпитния тест, визуализиран на фигури от 2 до 7. С всяка следваща година успехът на студентите по съответните дисциплини намалява. Обобщените стойности на финалните резултати оценки са показани на Фигура 2. В зависимост от процента от възможния максималният брой точки крайните оценки са разделени на няколко сегмента.

Най-висок среден успех постигат студентите от IV курс. При тях коефициентът на асиметрия, показан на Фигура 3, има най-висока стойност и е до 50 пъти по-висок от резултатите, получени при тестовете, проведени по време на онлайн обучение.

Близо 5 % от обучаемите получават 90 процента от максималната оценка, 55 % – 80 и повече процента от максималната оценка, 19 % – между 70 и 80 процента. Една от възможните причини за високия им успех може да се дължи на натрупаните вече общи знания за компютърната техника и на опита им за решаване на онлайн тестове. За разлика от тях при студентите от първи курс, които решават тестовете през 2021 г., никой не достига 90 % успеваемост. Само 7 % получават над 80 процента от максималната оценка. На Фигура 4 е показан броят на студентите (в проценти), постигнали 70 % и 80 % от максималния резултат. Тези стойности (70 % и 80 %) са взети под внимание при извършване на анализа, тъй като се използват като минимални нива на получени резултати за успешно издържани онлайн изпити в голяма част от световните ИТ компании (Cisco, Microsoft, Sun и др.).

На Фигура 5 са показани средните стойности на броя верни отговори (в проценти), разпределени между отделните типове въпроси. Разглеждайки получените резултатите, могат да бъдат посочени следните констатации. При всички изследвани потоци характера на кривата на разпределение на правилните отговори е идентичен. Според начина на задаване студентите отговарят правилно повече на визуалните въпроси, отколкото при текстовите. Разглеждайки резултатите според типа на въпроса, броят на правилните отговори намалява в поредността „какво“ – „твърдение“ – „ситуационен“.

Ако се разглежда типът на въпроса, най-високи резултати се получават при въпросите „какво“, където се избира какво точно отговаря да дадено описание. С повишаване на трудността на задаване на въпроса намалява броят на верните отговори. Най-малко верни отговори се получават при ситуационните въпроси с отворен точен отговор.

На Фигура 6 са показани средните стойности на броя верни отговори (в проценти), разпределени между отделните типове въпроси и отговори. Според типа на отговора: броят на правилните отговори намалява в по-редността „връзки“ – „избор“ – „вярно“ – „точен“. От всички варианти на въпросите най-висок процент верни отговори получават визуалните с отговор тип „връзки“. Студентите изпитват най-голямо затруднение при ситуационните отговори, при които трябва да се приложат знания от няколко теми. Ако отговорът е точен и трябва да се напише в числов формат, в някои от случаите дори няма един верен отговор.

При въпросите с няколко отговора възможността за частичен правилен отговор води до по-високи резултати в сравнение с въпросите с единичен отговор. По същата причина и въпросите от тип „връзки“ получават по-голям процент верни отговори в сравнение с тези от типа „вярно/невярно“. Студентите се представят най-слабо при въпросите с точен отговор.

На Фигура 7 е показана графичната зависимост между стойностите на стандартното отклонение от получените верни отговори на обучаемите от различните потоци по типове въпроси, а на Фигура 8 – по типовете отговори. Наблюдава се, че различните випуски обучаеми отговарят по сходен начин на отделните типове въпроси. Но с всяка изминала година, за всички комбинации въпрос/отговор, расте стандартното отклонение на верните отговори, което се дължи на увеличаващия се брой ниски оценки.

На Фигура 9 е показано изменението на успеха на едни и същи обучаеми по време на онлайн обучението. Графиката показва какъв брой студенти са постигнали съответния процент точки от максималния възможен резултат. Студентите от първи курс и част от втори са учили присъствено, а през останалото време – онлайн. Разпределението на получените максимални оценки в трети курс е силно изместено вляво. След три семестъра неприсъствено обучение намалява делът на студентите, които постигнат минимум 70 % от максималния успех. Едва 32 % от тях могат да покрият минималните критерии на международни ИТ компании за успешно решаване на онлайн изпити. В допълнение може да се посочи, че част от учебния материал по „Компютърна периферия“ вече е частично разглеждан в други учебни дисциплини. Някои от студентите в трети курс са провели стаж или вече работят в ИТ компании. Част от знанията от дисциплината са им били необходими в ежедневната им работа с компютърна и комуникационна техника. Въпреки това, в сравнение с дисциплината от първи курс, успехът им е силно занижен.

6. Изводи

На базата на проведените изследвания могат да бъдат направени следните общи изводи.

– Увеличаване броя на студентите, които учат визуално. Обучаемите се затрудняват да прочетат текстовите условия на въпросите.

– Намаляват студентите, които могат да разсъждават абстрактно. Интертематични и интердисциплинарни въпроси могат дори да бъдат пропуснати при решаване на тестовете.

– Почти две години онлайн обучение в средните и висшите училища е довело до значителен спад в степента на усвояване на учебното съдържание. Намаляване на общия успех се наблюдава както при всеки следващ випуск студенти, така и при един от тях с течение на времето.

7. Заключение

Като заключение, могат да бъдат направени следните предложения към ръководството на ВВМУ.

– Преминаване към изцяло електронно базирано обучение на студенти от ИТ специалности да бъде извършвано само в крайни случаи, застрашаващи пряко живота на преподаватели и обучаеми. – В електронно базираните курсове да бъдат включени задания за самоподготовка, като по възможност те да бъдат различни за отделните студенти. Оценките на предадените работи да бъдат пряко свързани с допускането до изпит на студентите и да влияят върху крайната оценка по дисциплината.

– Да се интегрира в системата за електронно базирано обучение модул за антиплагиатство.

– Изпитните тестове трябва да включват различни типове въпроси, за да се обхванат различните типове студенти според техния личен стил на учене.

– С цел максимално разбиране на поставените въпроси и задачи и съответно успешно преминаване на изпитните тестове част от въпросите могат да бъдат задавани визуално.

– Задължително включване на сложни, интердисциплинарни въпроси, с което ще се позволи да бъдат оценени и студентите с развити когнитивните умения. Така при оценяване на знанията ще бъдат диференцирани различните групи обучаеми.

Забележка

По време на написването на статията авторът смени мястото си на работа. Изследването е извършено, когато авторът е асистент в катедра „Информационни технологии“ на ВВМУ „Н.Й. Вапцаров“ – Варна, статията е изпратена за публикуване, когато вече е преподавател във факултет „Артилерия, ПВО и КИС“ на Националния военен университет „Васил Левски“.

REFERENCES

GRAF, S., SILVIA, R., KINSHUK & TOMMASO, L., 2007. In-Depth Analysis of the Felder-Silverman Learning Style Dimensions. Journal of Research on Technology in Education, 40 (1).

IKAWATI, Y., RASYID, M., WINARNO, I., 2021. Student Behavior Analysis to Predict Learning Styles Based Felder Silverman Model Using Ensemble Tree Method. EMITTER International Journal of Engineering Technology. Vol. 9, No. 1, June 2021, 92 – 106.

PETROWA, S., 2016. Prirodnite nauki I tehnologiite w uchilishteto na XXI wek. Rezultati ot uchastieto na Bylgaria w Programata za megdunarodno ocenjawane na uchenicite PISA 2015 [In Bulgarian].

SYAHRIN, S., SALIH, A., 2020. ESL Online Learning and Learning Styles: A Case Study in the Sultanate of Oman. Arab World English Journal, 11 (3), 42 – 55.

ZLATKOVIC, D., DENIC, N., ILIC, M., ZAKIC, A., 2022. Providing dynamic adaptivity in Moodle LMS according to Felder-Silverman model of learning styles. Proceeding of 9th International Scientific Conference Technics and Informatics in Education, 271 – 277. doi: 10.46793/TIE22.271Z