© AI
Educational Matters
TEST GENERATOR
Abstract. The article describes a prototype of a computer system for preparation of paper-delivered test materials for evaluation of knowledge, skills and competence of students in classroom curriculum-based education. By using the system the teacher can quickly prepare and print multiple test sheets which are different from the students’ viewpoint but assess one and the same knowledge or skill. The test generator integrates the following components:
1. Database with test problems.
2. Software module for printing in which:
– The teacher enters the amount of test materials;
– The teacher enters the subject, type, complexity and other parameters of the test problems;
– The system automatically generates and prints the test materials with the defined criteria.
3. Software module for database management.
Keywords: test generator; test examination; databases; secondary education; methodology of teaching; electronic education
Въведение
Теоретичните основи, методологията, технологичната организация, реализацията, резултатите и изводите, свързани със създаването и използването на тестови материали, са описани в редица научни трудове – например (Andreev, 1996) и (Bankov, 2012), и публикации, доклади на конференции (Bankov, 2010), както и в електронни материали на училищно и национално равнище1) . Традиционно използваните средства за контрол, управление, изпитване и оценяване са допълнени с възможностите, които предлагат съвременните системи за електронно обучение от типа на Moodle и CIELA.
В пряката урочна работа учителите съставят свои или използват готови тестови материали, които се предлагат на книжния пазар или в web базиран формат – например (Galabova et al., 2010), (Lozanov et al., 2011), (Savova et al., 2010), а също2) и 3) . Същността, формата, структурата на тестовете, както и процедурата за използването им в условията на традиционната класно-урочна система, създават обективни предпоставки за подсказване и преписване. В немалко случаи учениците съсредоточават усилията и подготовката си, за да създадат организация и средства за подсказване и преписване, което:
– затруднява провеждането и ръководенето на изпитната процедура;
– поставя под съмнение обективността на оценяването и направените изводи.
В статията се представят: същността, структурата, функционалните възможности и перспективите за приложение и развитие на софтуерна система, наречена „Генератор на тестове“ (ГТ). С помощта на ГТ учителите ще могат да създават автоматизирано и да използват в пряката си ежедневна урочна работа тестови материали. За конкретното изпитване създадените с ГТ тестове са различни (от гледна точка на учениците), но имат една и съща дoцимологическа функция и стойност.
За да може да изпълнява своите функции, ГТ се състои от следните компоненти: „База от данни“, „Генератор на тестови материали“ и „Генератор на нови задачи“.
База от данни
В базата от данни се съхраняват задачите. Всяка тестова задача влиза в базата под формата на запис със следната структура:
Фигура 1
1. „Паспорт на задачата“. Съхраняват се данни за:
1.1. автора, мястото и ролята в учебната програма – клас, ниво на трудност и т.н.; за задачите по информатика и ИТ допълнително може да се пазят данни за операционната система, езика за програмиране или приложната програма, за която се отнася;
1.2. знанията и/или уменията, които се проверяват чрез задачата.
2. „Варианти на задачата“. Състои се от пет полета, в които се съхраняват съответно пет варианта на задачата. Вариантите са със следната еднаква структура:
2.1. условие на задачата – във всеки един от вариантите условията на задачата са написани с еквивалентна (в повечето случаи дори една и съща) като формулировка текстова част. Формално се различават по своите компоненти: константи, формули, чертежи, част от графични екрани и др. Тези компоненти се дефинират, конструират и избират от методистите, но така че и петте варианта на задачата да са с еквивалентна доцимологическа същност, функционалност, цел и ниво на трудност. Например:
Условие на задача по матема тг
Условие на задача по информатика (IX клас, с отворен отговор)
Условие на задача по информационни технологии (VIII клас, с избираем отговор):
2.2. верен отговор на задачата;
2.3. дистрактори:
– четири неверни отговора за задачите с избираем отговор; или
– четири празни полета за задачите с избираем отговор.
Генератор на тестови материали (ГТМ)
ГТМ е технологично средство (приложна програма), с помощта на която учителят избира последователно (в съответствие с целите на измерването, броя и възможностите на изпитваните ученици) задачите, които да влязат в теста по следния алгоритъм.
Начало а: въвежда: класа, учебния предмет и броя (N) на учениците, които ще бъдат тествани;
b: избира тема от учебната програма;
c: ГТМ обхожда, а учителят разглежда последователно наличните по темата в базата задачи. В интерфейсния прозорец на ГТМ излиза само първият вариант на текущата задача и част от данните в „паспортната“ ѝ част (ниво на трудност, знания и умения, които проверява);
d: учителят Избира или НЕ избира текущата задача. Ако иска да добави друга задача от същата тема, изпълнява c, иначе – b. Когато приключи с избора на задачи, се преминава към e;
e: ГТМ автоматично генерира и разпечатва (на хартия) N на брой различни тестови материали (т.е. N групи), които, от гледна точка на учениците, съществено се различават, но от дoцимологическа гледна точка са идентични. Това се постига по следния начин: първата задача във всички N на брой тестови материали е първата избрана от учителя. ГТМ избира (на случаен принцип) и отпечатва в конкретния тест само един от 5-те варианта на задачата. След това, ако задачата е с избираем отговор, то верният отговор и дистракторите се разместват (на случаен принцип), номерират се и се отпечатват и т.н. до последната избрана от учителя задача;
f: за всеки един от N-те на брой различни тестови материали ГТМ изготвя и разпечатва (за учителя) фиш със съответно верните отговори.
Край
Забележка
Генерираните по този начин Nброя тестови материали визуално се различават съществено. Дори ако за двама ученици i-тите задачи в теста съвпадат, то вероятността учениците да стоят един до друг в класната стая, е минимална.
Генератор на нови задачи (ГНЗ)
ГНЗ е технологично средство (приложна програма) за създаване на тестови задачи в електронен формат с регламентираната в т. 1 структура. Предлага се специалистите методици да изготвят условието на конкретната задача:
– в 5 варианта, съгласно изискванията, описани в т.2.;
– чрез интегрирано използване на стандартни, популярни приложни програми (текстов, графичен редактор, редактор за математически формули, електронна таблица и др.).
С помощта на ГНЗ паспортните данни и 5-те варианта на задачата се прехвърлят и съхраняват в БД. Така усилията на методистите се съсредоточават върху формулировката и доцимологическата стойност на задачите, без да се инвестира време за усвояване на инструментариума на конкретна система с регламентиран достъп и фиксирана функционалност.
Възможности за разширяване на системата с допълнителни модули Структурата, функционалните възможности и технологичната организация за използването на ГТ създават предпоставки за разширяването му с допълнителни модули.
За проверка на тестови материали (ПТМ) – приложна програма, с по-мощта на която:
– се въвеждат отговорите, които учениците са посочили/записали за верни;
– автоматично се проверяват и представят (таблично) резултатите от теста.
Използването на програмата ПТМ ще даде възможност за натрупване на първични данни за:
– проследяване развитието и резултатите на учениците във времето и по различни предмети;
– определяне на числовите характеристики (Bankov, 2012) на задачите.
За диагностициране качеството на тестовите задачи – приложна програма, с помощта на която първичните данни, събрани и съхранени чрез модула ПТМ, се използват за определяне на числовите характеристики на задачите: трудност, разграничителна сила, точкова бисериална корелация, оценка на дистрактори, съдържателна валидност и надеждност и др. Така генерираните вторични данни се получават в резултат на математическа обработка и статистически анализ (Bankov, 2012).
Заключение
В бъдеще качественото развитие на ГТ е свързано със създаване на системата в WEB базирана версия. web базираната версия ще има следните предимства:
– вариантите, включени във всяка тестова задача, могат да бъдат и по-вече от пет;
– базата данни се актуализира, контролира и развива централизирано;
– потребителят на ГТ има on line достъп до ресурсите (тестови задачи и софтуерни модули) на системата.
NOTES/БЕЛЕЖКИ
1. Банков. Н., М. Христова (2012). Анализ на постиженията на учениците по математика. Изследване на четивната и математическата грамотност на учениците в VI клас. ЦКОКУО и фондация „Заедно в час“. София, http://www.ckoko.bg/images/stories/Analiz_CKOKUO_20.09.pdf (свален 27.10.2015).
2. Външно оценяване по математика за IV клас. Тестовете (с верните отговори) по математика от Външното оценяване по математика за IV клас от 2007 до настоящата година: URL: http://www.math10.com/bg/izpiti/vanshno-oceniavane-4-klas.html (последно посетен 27.10.2015)
3. Матури:
URL: http://www.math10.com/bg/izpiti/maturi/2014.pdf (свален 27.10.2015);
URL: http://www.math10.com/bg/izpiti/maturi/2013.pdf (свален 27.10.2015);
URL: http://www.math10.com/bg/izpiti/maturi/2012.pdf (свален 27.10.2015).
REFERENCES/ЛИТЕРАТУРА
Andreev, M. (1996). The Learning Process. Didactics, Sofia: University Press “St. Kliment Ohridski”.
Bankov, K. (2012). Introduction to Testing, Sofia: Izkustva.
Bankov, K.(2010). Methods for Evaluating the Achievements of Students. Contemporary Pedagogical Reality – Results and Expected Achievements. Collection of Materials from the Scientific Practical Conference, Razgrad, 39 – 46.
Galabova, D., E. Kiselova, I. Katsarova, L. Kiriazova & V. Hristova, (2010). Test 7th Class – Mathematics, Sofia: VEDI.
Lozanov, Ch., K. Uzunova, D. Dimitrova, I. Tzvetkova & I. Sharkova (2011). Mathematics. Tasks and tests for 7th grade (collection) . Sofia: Anubis.
Savova, B., M. Todorova & V. Zlatilov (2010). Tests in Mathematics for 7th grade, Sofia: Prosveta.