https://doi.org/10.53656/str2022-4-4-suc

Резюме. Статията е насочена към изследване успеваемостта на студентите от НСА „Васил Левски“ в периода на дистанционно провеждане на семестриални изпити в условията на пандемията COVID-19. Направено е сравнение на средните стойности на оценките от изпитите между периоди на присъствено и периоди на дистанционно провеждане на изпити. Изследвани са следните показатели: брой на проведените изпити и брой на успешно положените изпити от студентите; разпределение в абсолютни и в относителни стойности на получените в диапазона оценки според българската оценъчна скала; средни стойности на получените оценки. Установено е, че платформата за дистанционно обучение virtual.nsa.bg предлага благоприятни условия за качествено повеждане на онлайн изпити, които позволяват да се получават оценки, адекватни на показаните от изпитваните знания. Методиката на създаване на тестови изпити в платформата, както и разработените защитни механизми при тяхното провеждане значително намаляват възможностите на изпитваните изкуствено да повишат своите оценки, без да са показали необходимите знания.

Ключови думи: дистанционно обучение; онлайн изпити; оценки; успеваемост

Въведение

Принудителното затваряне на висшите училища в началото на 2020 г., като резултат от пандемията COVID-19, и преминаването към изцяло онлайн обучение постави съвършено нови изисквания по отношение на комуникацията между преподаватели и студенти при провеждането на лекционни занимания, семинарни и практически упражнения, както и провеждането на семестриалните изпити на студентите във висшите училища.

Пандемията доведе до значителни промени в начина на оценяване знанията на студентите в сферата на висшето образование, като се наложи оценяването да се извършва чрез онлайн методи. Въпреки че голяма част от преподавателите вече имаха уменията и опита за работа в електронна среда, като цяло, те по-скоро не бяха склонни да оценяват знанията на своите студенти чрез онлайн средства. Като причина се посочваха недостатъчният контрол на провеждането на изпитите и наличието на възможности за използване на по-мощни средства от изпитваните. При този неочакван сценарий преподавателите също трябваше да адаптират процедурите за оценяване и да преосмислят подходите при изпитването (Balderas & Caballero-Hernán 2020).

Според редица изследвания (Sariasih & Tisnawijaya 2019; Hodges 2017; Jones 2011) още преди настъпване на пандемията нерегламентирани и неправомерни действия на студентите по време на изпитните процедури в онлайн среда са многократно отчитани и признавани и от самите студенти. В своите изследвания авторите са достигнали до извода, че онлайн формата за изпитване е буквална покана за нарушения от страна на студентите (Harmon & Lambrinos 2008). Въпреки това може да се твърди, че нивото на тези нарушения зависи изцяло от използваните подходи при изпитването и от предприетите защитни мерки за възпрепятстване извършването на злоупотреби (Williamson 2018). Такива мерки биха могли да бъдат общото време за провеждане на изпита, онлайн средата, в която се провежда изпитът, технологията на изпитване, средното време за отговор на въпросите, както и други технически способи, които допълнително да затрудняват използването на помощни материали от студентите.

Голяма част от университетите по света прибягват до различни подходи за удостоверяване самоличността на изпитваните, подписване на декларации за академична почтеност и спазване на етичните норми при онлайн изпитите, наблюдение и записване на изпитите, провеждани в онлайн среда (Reedy et al. 2021; Daffin & Jones 2018). Въпреки това някои автори считат, че проблемът с валидността на онлайн изпитите остава критичен, като същевременно подкрепят тезата, че успешното прилагане на онлайн изпити зависи от проектирането им така, че да бъдат валидни, надеждни, сигурни и гъвкави (Shraım 2019).

Прилагането на различни подходи при изпитването в онлайн среда се счита за важен елемент за осигуряване на максимална честност при провеждането на изпита и свеждане на измамите до минимум. Няколко фактора обаче могат да възпрепятстват преподавателите да използват стратегии за намаляване на измамите, като се започне от липсата на знания за тези процедури, липсата на мотивация за прилагането им, а също и технически проблеми, като например липса на достъп до софтуер за проверка на измами (Janke et al. 2021).

Успеваемостта при онлайн изпитвания до голяма степен зависи от ефективността на самото онлайн обучение. Анкетно проучване сред учители по физическо възпитание и спорт е показало, че 72% от тях определят ефективността на дистанционното обучение като „Добра“, а само 7% определят тази ефективност като „Отлична“ (Naydenova 2021).

При провеждането на онлайн тестови изпити в платформата за дистанционно обучение virtual.nsa.bg в академичната общност се създаде впечатление, че онлайн изпитите, като правило, завършват с успешното им полагане, че успехът от изпитните сесии, като цяло, значително се повишава и че броят на успешно издържалите изпитите си студенти е нараснал изключително много за периода на онлайн провеждане на изпитните сесии в сравнение с присъственото провеждане на изпитите.

Нашата работна хипотеза се основава на предположението, че провеждането на онлайн изпити води до съществено увеличаване броя на студентите, които се явяват на изпити, и до значително повишаване успеваемостта на студентите, изразяващо се в по-голям брой студенти, успешно положили своите изпити, и по-висок среден успех от изпитите.

Методика

Основната цел на научната разработка е да се изследва успеваемостта на студентите от НСА „Васил Левски“ в условията на пандемията от COVID-19 и да се установи ефективността на системата за провеждане на изпити в платформата за дистанционно обучение virtual.nsa.bg.

За реализиране на тази цел поставихме за решаване следните задачи.

1. Анализ на основните параметри на системата за провеждане на онлайн изпити на платформата virtual.nsa.bg.

2. Изследване успеваемостта на студентите в условията на присъствено провеждане на изпитните сесии за периода 2018 – 2019 г.

3. Изследване успеваемостта на студентите в условията на дистанционно провеждане на изпитните сесии за периода 2020 – 2021 г.

4. Сравнителен анализ на успеваемостта на студентите между присъствено и онлайн провеждане на семестриалните изпити.

За да изследваме успеваемостта на студентите, изтеглихме от базите данни оценките по отделните учебни дисциплини на всички студенти от ОКС „Бакалавър“. Регистрирането на оценките на студентите се извършва в две платформи:

– програма за администриране на студентското състояние (програма „Студент“), в която се вписват крайните оценки по учебните дисциплини;

– платформа за дистанционно обучение, в която автоматично се регистрират оценките от всички проведени онлайн тестови изпити.

За анализ на резултатите използвахме следните статистически методи:

– вариационен и честотен анализ;

– тест на Kolmogorov-Smirnov за проверка на нормалността на разпределение на данните;

– статистически тестове за проверка на хипотези: Mann – Whitney U test и коефициент “r” за оценка на размера на ефекта.

Данните са обработени със софтуерните пакети за статистическа обработка SPSS v 23 и MS Еxcel 2016.

Процедури и основни характеристики на модула за провеждане на онлайн тестови изпити в платформата virtual.nsa.bg

Изпитите в платформата за дистанционно обучение се провеждат в тестова форма. Възможни са два типа въпроси – затворени и отворени, с различна сложност: елементарна, лесна, нормална, трудна и много трудна. Въпросите се разработват се от водещия по съответната учебна дисциплина преподавател и могат да се групират по различни теми (т.нар. предметни области). Броят на въпросите във всяка предметна област е неограничен. При създаването на изпит преподавателят създава т.нар. „шаблон“, като в него определя по колко въпроса от всяка предметна област, от какъв тип и сложност да бъдат включени в изпита.

Възможни са два начина за включване на въпросите в изпита:

– автоматично, при което на случаен принцип системата избира определен брой въпроси от целия набор за съответната предметна област;

– ръчно, при което преподавателят определя точно кои въпроси да бъдат включени в изпита.

Изпитът се стартира и спира от водещия преподавател. По време на изпита той вижда в своя профил хода на самия изпит – кои студенти решават теста, начало на изпита за всеки студент, оставащо време за всеки изпитван и броя на отговорените към момента въпроси.

В изпита студентите влизат с парола. За всеки изпитван системата генерира индивидуален набор от въпроси по предварително зададените критерии за предметна област, тип и сложност. За всеки изпитван системата избира на случаен принцип различни въпроси от зададените „автоматично“. Ръчно избраните конкретни въпроси са едни и същи за всички студенти, но те разместват местата си при различните изпитвани. Освен това възможните отговори също се подреждат на случаен принцип и са различни за всеки изпитван. Студентът има индивидуално време за решаване на теста, което започва да тече от момента, в който той влезе в изпита.

С цел намаляване възможностите за използване на помощни средства в системата са разработени някои защитни механизми за времето на провеждане на онлайн изпит, а именно:

1. по време на изпита се блокират останалите менюта в профила на студента, така че той не може да достигне до менютата с учебни материали;

2. системата засича едновременното влизане в профила от две различни места – два браузъра или две устройства, и изхвърля изпитвания от изпита, като го предупреждава с надпис „Сесията е невалидна“;

3. системата засича проявена „неактивност“ от изпитвания в продължение на 5 минути (време, в което мишката не се движи) и след предупреждение в последните 10 сек. изхвърля студента от изпита.

В случаите, в които системата изхвърли студента от изпита поради установено нарушение, той има възможност отново да се върне в нея, като премине отново през всички необходими стъпки за това. Индивидуалното време за решаване на теста от изпита през този период обаче продължава да тече.

Резултати и анализ

На таблица 1 и фиг. 1 са представени броят и относителният дял на учебните дисциплини от учебните планове на специалностите във факултет „Спорт“ (ФС), факултет „Педагогика“ (ФП) и факултет „Обществено здраве, здравни грижи и туризъм“ (ОЗЗГТ), по които семестриалните изпити са проведени във virtual.nsa.bg и в други платформи.

Анализът на данните показа, че за изключително голям процент учебни дисциплини (над 90% за ФС и ФП и значителен процент от 38% за факултет ФОЗЗГТ) изпитите са проведени в платформата virtual.nsa.bg. За периода от 2020 – 2021 г. в платформата за дистанционно обучение на НСА „Васил Левски“ virtual.nsa. bg са проведени повече от 45 000 различни по вид изпитвания на студенти в ОКС „Бакалавър“, обучаващи се по основна и по нова специалност, а именно:

– изпитвания по време на редовни изпитни сесии – 32 584;

– междинни изпитвания през семестъра под формата на колоквиуми, контролни упражнения, тренировъчни изпити – 10 295;

– предварителни изпитвания за освобождаване от основния изпит – 2117;

– ликвидационни изпити – 31.

На таблица 2 и фигура 2 са представени броят и процентните стойности на получените оценки от всички проведени изпити в платформата virtual.nsa.bg.

Тестът на Kolmogorov – Smirnov показва, че получените оценки за изследвания период в програмата за администриране на студентското състояние (програма „Студент“) и платформата за дистанционно и електронно обучение не са нормално разпределени при ниво на значимост α=0,05 (Sig=0,000<0,05). Коефициентът на вариация на изследвания показател е 32.5, което показва съществени от статистическа гледна точка различия в оценките между изпитваните и няма тенденция към получаване на определена оценка.

Анализът на данните показа, че до голяма степен са изпълнени статистическите изисквания за разпределение на оценките. Най-малък е процентът на слабите и на отличните оценки (съответно 17.28% и 12.85%), а най-голям е процентът на оценката „Добър 4“. Можем да кажем, че по-нататъшното усъвършенстване на тестовите въпроси би могло да доведе до известно допустимо намаляване както на броя на получените слаби, така и на отличните оценки.

На таблица 3 е представен броят на успешно положените изпити на студентите от основна специалност по време на редовните, поправителните и допълнителните изпитни сесии за изследваните периоди на присъствено и дистанционно провеждане на изпити. В колоната „Програма „Студент“ е отразен броят на внесените в системата за администриране на студентското състояние крайни оценки по всички учебни дисциплини. Тези крайни оценки се формират от изпита, положен по време на изпитната сесия, и от проведените междинни изпитвания, както и от изпълнени от студентите задания по време на семестъра. Възможно е и освобождаване на студентите от изпит въз основа на междинните изпитвания. В колона „virtual.nsa.bg“ е показан броят на успешно положените изпити в платформата virtual.nsa.bg по време на изпитните сесии. Оценките от тези изпити са част от крайните оценки, които се формират по всяка една учебна дисциплина.

Анализът на данните показа следното.

1. Броят на успешно приключилите учебни дисциплини (23 140) за периода на онлайн обучението през 2020 – 2021 г., с внесена в електронната система (програма „Студент“) за администриране на студентското състояние крайна оценка е с 518 бр. повече в сравнение със същия по продължителност период на присъствено обучение и провеждане на изпитите през 2018 – 2019 г. (22 622). За сравнение – през 2019 г. се наблюдава подобно (с 614 бр.) увеличение спрямо 2018 г. Това са години, в които обучението и изпитите се провеждат в присъствена форма. Като се вземе предвид, че броят на дисциплините, по които са превеждани онлайн изпити в платформата, е 81 (таблица 1) както и че за всяка дисциплина са проведени поне по четири изпитни сесии за периода на дистанционното обучение, може да се изчисли, че на един онлайн изпит на всяка изпитна сесия в платформата virtual.nsa.bg за периода 2020 – 2021 г. са се явили средно по-малко от двама студенти повече в сравнение с периода на присъственото провеждане на изпитите (2018 – 2019 г.) От друга страна, броят на студентите в ОКС „Бакалавър“ в НСА „Васил Левски“ е около 3000. Ето защо можем с увереност да кажем, че имаме незначително увеличение на броя на успешно издържалите изпитите си студенти в периода на онлайн обучение.

2. Броят на успешно положените в платформата virtual.nsa.bg изпити за периода 2020 – 2021 г. (24 750) е с 1610 повече в сравнение с внесените в програма „Студент“ крайни оценки по отделните учебни дисциплини за същия период (23 140). Това, на пръв поглед, не би следвало да бъде така, но причините са две.

– На първо място, немалък брой семестриално завършили студенти от минали години, които имат неположени изпити, участват в изпитните сесии, за да добият право за допускане до държавни изпити. Оценките на тези студенти обикновено не се внасят в електронното досие, а само в главната книга. По този начин, те не са включени в извадката от програма „Студент“.

– На второ място, една част от студентите са се явили на онлайн изпитните сесии, без да са изпълнили междинните изисквания от водещите преподаватели, което е условие да не бъде възможно оформяне на крайна оценка по съответната учебна дисциплина. На тези студенти също не е внесена оценка в електронното досие и те не са включени в извадката.

На фигура 3 е представен относителният дял на крайните оценки по учебните дисциплини, внесени в електронното досие на студентите в програма „Студент“.

Установихме, че през периода на дистанционно обучение и онлайн провеждане на изпити (2020 – 2021 г.) относителният дял на получените оценки „Среден 3“ е намалял с 9.9% (от 31.5 до 21.6%), а броят на останалите оценки се е увеличил съответно с 2.2% за оценка „Добър 4“, с 5.6% за оценка „Много добър 5“ и с 2.1% за оценка „Отличен 6“. Този факт ни даде основание да предположим, че онлайн провеждането на изпити в платформата за дистанционно обучение virtual.nsa.bg предполага повече възможности за получаване на по-високи оценки от студентите, което на практика би могло до известна степен да компрометира провеждането на изпити в нея. За да проверим дали наистина това е така, направихме сравнение между броя на получените оценки от „Среден 3“ до „Отличен 6“ по време на онлайн изпитните сесии в платформата virtual.nsa.bg за периода 2020 – 2021 г. и крайните оценки, внесени в електронното досие на студентите в програма „Студент“. Данните са представени на фигура 4.

Анализът показа, че относителният дял на получените оценки „Среден 3“ от онлайн изпитите в платформата virtual.nsa.bg e по-голям с 5.3%, а делът на оценката „Добър 4“ е по-голям с 3.7% от съответните крайни оценки по същите учебни дисциплини, внесени в електронното досие на студентите. От друга страна, броят на оценките „Много добър 5“ и „Отличен 6“ в онлайн изпитните сесии е съответно с 1.5% и 7.4% по-нисък от крайните оценки по тези учебни дисциплини.

Всичко това ни даде основание да направим следното заключение: по-лучените повече на брой крайни оценки „Много добър 5“ и „Отличен 6“, като крайни оценки по отделните учебни дисциплини, не са в резултат от по-високи оценки в онлайн изпитните сесии в платформата за дистанционно обучение virtual.nsa.bg. По всяка вероятност те са в резултат от оценките при междинни изпитвания, активност при участието в учебния процес и качество на изпълнение на текущи задания по време на онлайн обучението през семестъра. От друга страна, получените по-малко на брой крайни оценки „Среден 3“ и „Добър 4“ вероятно са в резултат от недостатъчно качествено изпълнение на поставените от водещите преподаватели задачи по време на обучението през семестъра.

На таблица 4 са представени резултатите от вариационния анализ на получените и внесени в електронното досие на студентите (програма „Студент“) крайни оценки и на оценките, получени от проведените изпити в платформата virtual.nsa.bg по време на изпитните сесии.

Анализът на данните показа следното.

Средната стойност на крайните оценки по всички учебни дисциплини за периода на дистанционното обучение (4.45) е по-висока с 0.20 пункта в сравнение с периода на присъствено обучение (4.25). Разликата е статистически значима според непараметричния Mann – Whitney U test при ниво на значимост α=0,05 (Sig=0,000<0,05). От друга страна, стойността на коефициента “r” за оценка на размера на ефекта показва, че повишаването на средната оценка е незначително (r=0,10<0,30) - r2 = 0.01, от което може да заключим, че само 1% от повишението на студентските оценки се дължи на дистанционното обучение.

Средната стойност на оценките, получени по време на онлайн изпитните сесии в платформата virtual.nsa.bg, е по-ниска с 0.22 пункта в сравнение с получената крайна оценка, внесена в електронното досие на студентите (програма „Студент“). Това потвърждава установеното по-горе от нас, че по-високите крайни оценки на студентите са в резултат от по-високи междинни оценки, получени от изпълнение на задачи, активно участие в учебния процес и др.

Най-често получаваните оценки (M o) от изпитите и при присъствено и при дистанционно обучение и провеждане на изпитите са „Среден 3“ и „Добър 4“. Коефициентът на вариация (V) е със стойности под 30 пункта за всички изследвани периоди, което показва, че изследваните групи са със средна еднородност и няма съществени различия в оценките между самите студенти.

Изводи

Анализът на данните от нашето изследване ни даде основание да направим следните изводи.

1. Получените оценки по време на онлайн проведените изпитни сесии в платформата за дистанционно обучение virtual.nsa.bg съответстват на статистическите норми и са адекватни на показаните от изпитваните знания. Провеждането на тестови изпити в платформата не увеличава възможностите за получаване на повече на брой високи оценки.

2. Не са налице съществени различия в броя на успешно положилите изпитите си студенти и в средните стойности на получените оценки между периодите на присъствено и на дистанционно провеждане на изпитни сесии.

3. Като цяло, не се доказа нашата хипотеза, че провеждането на онлайн изпити води до значително повишаване успеваемостта на студентите, изразяващо се в по-голям брой студенти, успешно положили своите изпити, и по-висок среден успех от изпитите.

4. Методиката на създаване на тестови изпити в платформата за дистанционно обучение virtual.nsa.bg, както и разработените защитни механизми при тяхното провеждане значително намаляват възможностите на изпитваните изкуствено да повишат своята оценка, без да покажат необходимите знания. Предполагаемото използване на помощни средства при провеждане на онлайн изпити не оказва влияние върху общото представяне в изпитите.

REFERENCES

BALDERAS, A. & CABALLERO-HERNÁN, J. A., 2020. Analysis of Learning Records to Detect Student Cheating on Online Exams: Case Study during COVID-19 Pandemic. New York, NY, USA: Association for Computing Machinery, 752 – 757.

DAFFIN, J. L. & JONES, A. A., 2018. Comparing student performance on proctored and nonproctored exams in online psychology courses. Online Learning, 22(1), 131 – 145.

HARMON, O. R. & LAMBRINOS, J., 2008. Are Online Exams an Invitation to Cheat?. The Journal of Economic Education. 39(2), 116 – 125.

HODGES, S. K., 2017. Academic dishonesty in higher education: Perceptions and opinions of undergraduates. East Tennessee State University.

JANKE, S. et al., 2021. Cheating in the wake of COVID-19: How dangerous is ad-hoc online testing for academic integrity? Computers and Education Open. 2, 100055.

JONES, D. L. R., 2011. Academic Dishonesty: Are More Students Cheating?. Business Communication Quarterly. 74(2), 141 – 150.

NAYDENOVA, K., 2021. Distantsionnoto obuchenie po „Fizichesko vazpitanie i sport“ – predizvikatelstva i reshenia. Godishnik na NSA „Vasil Levski“. 2, 7 – 16. [In Bulgarian]

REEDY, A., PFITZNER, D., ROOK, L. & et.al., 2021. Responding to the COVID-19 emergency: student and academic staff perceptions of academic integrity in the transition to online exams at three Australian universities. Int J Educ Integr. 17(9). Available at: https://doi.org/10.1007/s40979-021-00075-9

SARIASIH, W. & TISNAWIJAYA, C., 2019. Academic dishonesty: How students do the learning assessment and project. Proceedings of the Sixth International Conference on English Language and Teaching (ICOELT 2018). Paris, France, 143 – 148.

SHRAIM, K., 2019. Online Examination Practices in Higher Education Institutions: Learners’ Perspectives. Turkish Online Journal of Distance Education. 185 – 196. DOI: 10.17718/tojde.640588

WILLIAMSON, M. H., 2018. Online Exams: The Need for Best Practices and Overcoming Challenges. The Journal of Public and Professional Sociology. 10(1), Article 2. Available at: https:// digitalcommons.kennesaw.edu/jpps/vol10/iss1/2