Резюме. След направен преглед на съществуващи системи за генериране на електронни тестове проблемът, който се наблюдава в педагогическата практика, е липсата на интегрирани автоматизирани системи за проверка на знания по програмиране, чрез които да бъде заменен ръчният труд на университетските преподаватели по създаване на тестови въпроси с автоматизиран подход. С цел да се подпомогне преподавателският труд, бе разработена Автоматизирана система за генериране на тестове (АСГТ) TestLab, която ускорено генерира и проверява изпитни тестове при обучението на студентите в четене на програмен код. Във връзка с въвеждането на АСГТ в процеса на обучение по програмиране е направено експериментално изследване, което да отчете ефективността на системата, свързана с мотивацията на младите хора в учебния процес и техните академични постижения. В проведеното проучване участват 137 студенти от специалност „Информатика и компютърни науки“ от Университета по библиотекознание и информационни технологии – УниБИТ, разделени на две групи – експериментална и контролна. Резултатите от реализирания педагогически експеримент показват по-добри показатели за брой вярно решени тестови въпроси и време за решаване на всеки тест, както и по-добра мотивация в учебния процес в експерименталната група, която многократно използва TestLab в съпоставка с контролната група, която еднократно работи с тестовата система. Получените резултати потвърждават допускането за ефективността от прилагането на АСГТ за подобряване процеса на обучение по програмиране в системата на висшето образование.

Ключови думи: ефективност; система за електронни тестове по програмиране; педагогически експеримент

Въведение

Съвременното образование следва промените, развитието и възможностите за иновации, както и други сектори на индустрията на услугите (Valiente 2014). Използването на електронни тестове се превърна не просто в естествена форма на проверка на знанията, но и средство за самообучение (Osorio & Nieves 2019). След направен преглед на съществуващи системи за генериране на електронни тестове проблемът, който се наблюдава, е липсата на интегрирани автоматизирани системи за проверка на знания, чрез които да бъде заменен ръчният труд на преподавателите по създаване на тестови въпроси с автоматизиран подход. Автоматизирането на процеса на генериране на тестове в етапа на създаване на самите тестови въпроси и облекчаването на интелектуалния труд все още са значително слабо развити. Обучението в дисциплини в сферата на програмирането изисква усвояването и изграждането на „твърди умения“ (hard skills) и компетенции (Sutherland et al. 2004). Учебният процес е систематична и продължителна дейност, която изисква значително повече упражнения и решаване на практически задачи, за да могат у обучаемите да се изградят необходимите професионални качества, знания и умения (Donchev 2009; Ivanov 2009). Твърдите умения обикновено са количествено измерими показатели (например четене и писане на програмен код), които могат лесно да бъдат дефинирани и оценени чрез е-тестове 1). С цел да се подпомогне преподавателският труд по създаване на е-тестове по програмиране и да се повиши ефективността на учебния процес, е разработена от И. Костадинова автоматизирана система за генериране на тестове TestLab. Заложеният в нея подход за генериране на индивидуални е-тестове чрез шаблони ускорено генерира и проверява изпитни тестове и цели тренирането на обучаемите в четене на програмен код. Правомощията в АСГТ дават възможност на преподавателите да създават шаблони, а студентите могат да ги използват с цел създаване на тестове за самообучение и самоподготовка.

1. Дизайн на изследването

Във връзка с въвеждането на АСГТ в процеса на обучение по информатика е проведен педагогически експеримент, който да отчете реакциите на обучаемите при работа със системата и показаните знания и умения след работа с нея. В изследването участват 137 студенти, I курс редовно и задочно обучение, специалност „Информатика и компютърни науки“, от Университета по библиотекознание и информационни технологии – УниБИТ. То е проведено в рамките на часовете, определени за упражнения по дисциплината „Основи на програмирането – C++“ през учебната 2017/2018 г.

На обучаемите е предоставено сами да подготвят своите тестове, използвайки aвтоматизирана система за генериране на тестове TestLab, да се упражняват чрез решаване на тестове, след което самостоятелно да проверят своите резултати. За целите на експеримента са формирани две групи студенти – експериментална (ЕГ) и контролна група (КГ). Върху експерименталната група е използван подход на учестено тестване на знанията, докато контролната група се обучава чрез традиционен подход (семинарни упражнения). Разпределението на групите студенти е представено в таблица 1.

От данните в таблица 1 става ясно, че разпределението на обучаемите в двете групи студенти е равномерно – 70 (51,1%) студенти при повторно и 67 (48,9%) при еднократно тестванe, в задочна и редовна форма на обучение, което е необходимо условие за надеждното провеждане на педагогическия експеримент.

1.1. Цел и хипотези

Целта на експерименталното изследване е да се оцени ефективността на системата за електронно тестване на знанията и уменията на студентите по програмиране чрез комплексни критерии, като мотивация за учене и академични постижения.

Работната хипотеза на изследването е, че приложението на системата за електронно тестване подобрява обучението по програмиране, като повишава мотивацията и академичната успеваемост в учебния процес (постигане на по-добри резултати при интензивно решаване на е-тестове, придобиване на нови знания и умения, засилване на удовлетвореността от наученото и т.н.).

1.2. Експериментална постановка

В проведеното изследване е използвана методология, базирана на подход на обучение, който акцентира върху системен и учестен контрол на знанията и уменията на обучаемите. Приложените методи са, както следва: апробация, използване на стимулен материал и анкетно допитване. АСГТ TestLab е апробирана в процеса на обучение и е предоставена за работа на студентите. Учестената проверка е извършена с генериране на индивидуални изпитни тестове за всеки обучаем от експерименталната група всеки учебен час. На обучаемите са предоставени многократно по 5 индивидуални въпроса с отворен отговор, които те трябва да решават, след което получават верните отговори и имат възможност да видят и коментират грешните отговори. Отчетени са времето за решаване и броят верни отговори при първото и последното решаване на тестовете.

Използваният стимулен материал е под формата на отворени тестови въпроси, съдържащи фрагменти на работещ програмен код. Целта на стимулния материал е да визуализира програмен израз на обучаемия и да провери дали той може да разчете какъв ще бъде резултатът от изпълнението му. Поставянето на тестовия въпрос с отворен отговор е с цел да извлече знанията и логическото мислене от обучаемия и да не допусне случайния избор на верния отговор. По този начин се цели изграждане и проверка на уменията за четене на програмен код у обучаемите. Правилно даден отговор на такъв въпрос се оценява с точка, докато грешният отговор не носи наказателни точки. Примерен въпрос за изграждане на умения за четене на програмен код на C++ може да се види на фигура 1.

Формирането на експерименталната и на контролната група е направено произволно на база разпределението на студентите в процеса на планиране на упражненията. Така оформените групи са със сравнително равен брой лица. Студентите са приети в една и съща учебна година, обучават се от едни и същи преподаватели, по едно и също време. Единствената разлика в процеса на обучение между експерименталната и контролната група е в използвания модел на обучение и работата с автоматизираната система за генериране на тестове.

А. Експериментална и контролна група

Участниците в експерименталната група тренират с АСГТ многократно всеки учебен час, генерират и решават тестове и трупат богат потребителски опит и умения. Върху тях е приложен моделът на обучение, акцентиращ върху системен и учестен контрол на знанията и уменията. Те използват многократно АСГТ TestLab, чрез която имат възможност да генерират индивидуални тестове. Участниците в контролната група правят еднократно тестване и се обучават чрез традиционен метод на обучение.

В края на изследването всички студенти от експерименталната и контролната група попълват анкетна карта, в която отразяват резултатите си. Проведеното анкетно проучване се състои от 24 въпроса, от които 6 са от отворен и 18 от затворен тип. Анкетната карта условно е разделена на 3 части: 1. Данни за анкетирания, 2. Лично мнение и впечатления и 3. Резултати от работата с TestLab.

Б. Обработка на данните

Данните от анкетното проучване са въведени и обработени със статистическия софтуер IBM SPSS Statistics 19. Използвани са следните статистически методи: дескриптивна (описателна) статистика – за оценка на характеристиките на извадката; корелационен анализ – коефициент на Пирсън за линейна корелация и t-тест на Стюдънт за независими извадки, който измерва дали съществуват статистически значими различия в средните стойности на сравняваните групи.

2. Резултати и интерпретация

В емпиричното проучване участват 137 студенти, като мъжете са 104, или 75,9%, а жените – 33, или 24,1%. Неравномерното разпределение по пол в полза на мъжете съответства на подчертаното мъжко присъствие в ИКТ специалностите. При реализирането на кръстосан анализ на изследваната извадка се вижда, че по-голямата част от студентите в редовна форма на обучение са млади хора на възраст 16 – 19 г. (n=63, 80,8%) срещу 20 – 48 г. (n=15, 19.2%), докато в задочното обучение преобладават студентите на възраст 20 – 48 г. (n=43, 72,9%) срещу 16 – 19 г. (n=16, 27,1%). Като цяло, средната възраст на респондентите е x=22.07 при стандартно отклонение sd=5.84, минимална възраст 16 г. и максимална възраст 48 г., което е индикация, че повечето студенти са в младежка възраст. Характерното за тази възраст е стремежът към експериментиране и придобиване на нов опит, откритост към промени, себеутвърждаване и преследване на индивидуалистични цели, което благоприятства за положителното отношение на младите хора към иновациите и нововъведенията в образователния процес.

В анкетното проучване са зададени и въпроси с цел допълнително характеризиране на участниците в него, например: „Изучавали ли сте преди програмиране?“, като преобладават студентите с опит (n=81, 59,1%); „Можете ли да програмирате на С“, като преобладават студентите без такива умения (n=99, 72,3%); „Работили ли сте друг път със система за електронно тестване“, като преобладават студентите, работили с електронна система (n=92, 67,2%), и т.н.

Впечатление правят резултатите от отговора на въпроса „Проверявали ли сте знанията си по програмиране чрез тест преди?“ (таблица 2). Въпреки че по-голямата част както от експерименталната група, така и от контролната група са работили със системи за електронно тестване, много по-малка част от тях са проверявали своите знания по програмиране. По-малко от половината от експерименталната група – 34 студенти (48,6%) и едва 21 студенти (31,3%) от контролната група са проверявали знанията си по програмиране чрез тест преди изследването. Тези данни говорят, че използването на тестова проверка на знанията в дисциплини, изграждащи твърди умения, не е много разпространено.

2.1. Описателна статистика на извадката

При статистическата обработка на данните първоначално е приложена описателна статистика и корелационен анализ на общата (тотална) база с от

говорите на всички изследвани лица на въпросите, които имат познавателна стойност за изследването. За отговор на тези въпроси е заложена скала от 1 (ниска степен) до 5 (висока степен), което позволява да се изчислят средните стойности и стандартните отклонения на променливите. Резултатите са обобщени в таблица 3.

Като цяло, участниците в изследването смятат, че интерфейсът на електронната система е лесен за използване (x=4.20); силно мотивирани са в процеса на обучение (x=4.13); смятат, че тестовата форма за проверка на знанията е удобна форма (x=3.91) и използването на тестова проверка би довело до по-добро усвояване на материала (x=3.81); получават нови знания (x=3.66) и т.н., което потвърждава психологическите и педагогическите ползи от приложението на АСГТ при занятията по програмиране, установено и в други изследвания (Law, Pelgrum, & Plomp, 2008).

2.2. Корелационен анализ

За корелационния анализ е използван коефициент на Пирсън – r, който разкрива силата и посоката на зависимостта между две променливи. Стойностите му варират от -1 до +1. Колкото абсолютната стойност се доближава до 1, толкова взаимовръзката е по-силна. Положителният знак показва, че с нарастване на стойностите на едната променлива нарастват и стойностите на другата променлива и обратно, а отрицателният знак – с нарастване стойностите на едната променлива намаляват стойностите на другата променлива и обратно. Корелационните коефициенти са систематизирани в таблица 4.

В получената корелационна матрица се виждат с удебелен шрифт случаите, в които има статистически значим коефициент на корелация, като се по-казва със звездичка при какво ниво на значимост – p, r e значим при определен брой случаи – N. При корелацията на една променлива със самата себе си се получава единица.

Резултатите от таблица 4 показват наличие на средни по сила положителни взаимовръзки между променливите и са в очакваната посока. Според изследваните лица използването на тестова проверка води до по-добро усвояване на материала при обучение, мотивира ги да използват онлайн системата за затвърждаване на знанията (r=0.488, p=0.000), носи нови знания (r=0.457, p=0.000) и е удобна форма за проверка на знанията по програмиране под формата на тестово изпитване с фрагменти на код (r=0.489, p=0.000), като лесният интерфейс стимулира придобиването на нови знания (r=0.243, p=0.007) и носи практически ползи (r=0.325, p=0.000).

2.3. Статистически значими различия между групите

Интересен е въпросът съществуват ли статистически значими различия в отговорите на двете контрастни групи – експериментална и контролна, чрез използване на t-тест на Стюдънт за независими извадки. Отговорите на подбрани въпроси са представени в таблица 5.

Статистическият извод е, че групата на студентите, които многократно са използвали системата, в по-голяма степен в съпоставка с другата група смята, че тестовата проверка ще подобри усвояването на материала – x=4.01 vs. x=3.60 при t=2.05 и p=0.042 и ще доведе до придобиване на нови знания – x=3.85 vs. x=3.43 при t=2.04 и p=0.043. Налице е също така достатъчен опит с електронната система – при експерименталната група средно 2 – 3 пъти работа с генериране на около 3 теста, а при контролната група – еднократен контакт и генериране средно на 1 тест.

Въпреки че останалите резултати не са статистически значими, може да се коментират условно. Например наблюдават се идентични оценки при двете групи по отношение ефективността на проверката на знанията по програмиране под формата на тестово изпитване с фрагменти на код – x=3.90 vs. x=3.92, което разкрива висока обща позитивна оценка за работа с онлайн системата на всички участници в педагогическия експеримент. По-високи средни стойности се наблюдават при повторно тестваните лица по критериите леснота, мотивация, възможност за контрол и т.н. при работа с електронната система за генериране на тестове.

3. Заключение

Проведен е педагогически експеримент, включващ констатиращо изследване за степента на овладяване на учебното съдържание по дисциплини по програмиране сред студенти от УниБИТ (N=137) през учебната 2017/2018 г., при експериментална (с прилагане на модела за обучение) и контролна група. Направен е статистически анализ на данните, събрани от емпиричното изследване, в което се установява, че: 1. разпределението на обучаемите в двете групи студенти е равномерно – 70 (51,1%) студенти при повторно и 67 (48,9%) при еднократно тестванe, в задочна и редовна форма на обучение, необходимо условие за провеждането на експерименталното изследване; 2. в двете сравнявани групи преобладават мъжете в съпоставка с жените, което е характерно за ИКТ специалностите; 3. преобладават студентите в младежка възраст, което благоприятства имплементирането на иновативни техники и технологии в образователния процес в университетската информационна среда.

След реализирането на описателна статистика на извадката, корелационен анализ и t-тест на Стюдънт за независими извадки на релевантни променливи може да се каже, че резултатите от експеримента са в потвърждение на заложената хипотеза, че регулярната проверка и засиленият контрол на знанията и уменията на обучаемите под формата на задаване на тестови въпроси водят до повишаване постиженията и засилват мотивацията за своевременно усвояване на учебното съдържание. Използването на автоматизирана система, която генерира въпроси в индивидуални обучителни тестове на базата на заложени шаблони с данни и автоматизираната проверка на знанията увеличава ефективността на учебния процес и засилва академичните ползи по програмиране. Благодарение на проекти на Министерството на образованието и науката автоматизираната система TestLab ще „мигрира“ и за други езици за програмиране, като С#, Java, Python и др., което ще увеличи възможностите ѝ за внедряване в българските университети, предлагащи компютърни специалности.

БЕЛЕЖКИ

1. Doyle, A. (2018). What are soft skills? The balance careers. Available at: https://www.thebalancecareers.com/what-are-soft-skills-2060852, 23.09.2018.

ЛИТЕРАТУРА

ДОНЧЕВ, И., 2009. Систематизиране на специфичните за С++ трудности при усвояването на клас и обект в обучението по програмиране. Математика и обучението по математика, Vol. 38(2009), pp. 257 – 267.

ИВАНОВ, К., 2009. За ефективността на обучението по обектноориентирано програмиране. Математика и обучението по математика, Vol. 38(2009), pp. 282 – 288.

LAW, N., PELGRUM, W. J. & PLOMP, T., 2008. Pedagogy and ICT use in schools around the world: Findings from the IEA SITES 2006 study. Berlin: Springer.

OSORIO, J. & NIEVES, J., 2019. Antecedents of sustainable vocational education and training in ICT in global south countries. In: A. TATNALL, & N. MAVENGERE (EDS.). Sustainable ICT, Education and Learning. IFIP Advances in Information and Communication Technology. Springer, Cham.

SUTHERLAND, R. ET AL., 2004. Transforming teaching and learning: Embedding ICT into everyday classroom practices. J. Comput. Assist. Learn., Vol. 20, pp. 413 – 425.

VALIENTE, O., 2014. The OECD skills strategy and the education agenda for development. Int. J. Educ. Dev., Vol. 39, pp. 40 – 48.

REFERENCES

DONCHEV, I., 2009). Systematization of C++ specific difficulties in class and object learning in programming learning. Matematika I obuchenieto po matematika, Vol. 38(2009), pp. 257 – 267 [in Bulgarian].

IVANOV, K., 2009. On the effectiveness of object-oriented programming training. Matematika I obuchenieto po matematika, Vol. 38(2009), pp. 282 – 288 [in Bulgarian].

LAW, N., PELGRUM, W. J. & PLOMP, T., 2008. Pedagogy and ICT use in schools around the world: Findings from the IEA SITES 2006 study. Berlin: Springer.

OSORIO, J. & NIEVES, J., 2019. Antecedents of sustainable vocational education and training in ICT in global south countries. In: A. TATNALL, & N. MAVENGERE (EDS.). Sustainable ICT, Education and Learning. IFIP Advances in Information and Communication Technology. Springer, Cham.

SUTHERLAND, R. ET AL., 2004. Transforming teaching and learning: Embedding ICT into everyday classroom practices. J. Comput. Assist. Learn., Vol. 20, pp. 413 – 425.

VALIENTE, O., 2014. The OECD skills strategy and the education agenda for development. Int. J. Educ. Dev., Vol. 39, pp. 40 – 48.