https://doi.org/10.53656/math2022-6-5-nqk

Резюме. В статията са анализирани измерителните качества на тестовите задачи с избираем отговор от НВО за VII клас, проведено през 2021 година. Потърсени са задачи, които нямат добри показатели по отношение на коефициентите на трудност или разграничителна сила. Предложени са варианти на тези задачи с цел тяхното подобряване. Направени са изводи върху откритите разлики в постиженията на учениците в областите София-град и Плевен.

Ключови думи: тестология; тестови задачи с избираем отговор; трудност; разграничителна сила; надеждност

1. Въведение

Националното външно оценяване (НВО) в края на VII клас се въведе през учебната 2009/2010 година. Оттогава все още има въпроси, които нямат ясен и еднозначен отговор:

– Как да се тълкуват резултатите на учениците?

– Покриват ли учениците в VII клас държавните образователни изисквания според тези резултати?

– Задачите, които се дават на НВО, дали отговарят на някакви предварителни изисквания към тях?

– Използват ли се получените данни от НВО, за да се направят изводи за подобряване на обучението по математика?

– Добре ли е тези резултати да се използват за вход в гимназиите?

В търсенето на част от тези отговори започнахме да изследваме резултатите от НВО през последните години. В настоящата статия са анализирани измерителните качества на тестовите задачи с избираем отговор, като са разгледани данните от НВО за VII клас, проведено през 2021 година, от областите София-град и Плевен. Целият тест е достъпен на сайта на \(\mathrm{MOH}^{1)}\). Използван е класическият анализ на тестови задачи. Потърсени са „лоши“ задачи, които нямат добри показатели по отношение на трудността, разграничителната сила на верния отговор и на дистракторите. Предложени са варианти на „лошите“ задачи, като считаме, че така те биха се подобрили. Класическият анализ на задачите дава възможност да се открият лошо функциониращи (дефектни) задачи. Както е описано от Банков (Bankov 2012), това са задачи с техническа или идейна грешка (такива не бяха открити в това НВО) или задачи, които не са добре съгласувани с предвиденото измерване на знанията на седмокласниците.

Редно е да се отбележи, че класическата теория на тестовете предлага ограничени възможности за такъв анализ. Препоръчително е използването на IRT (Item Response Theory) методологията, описана в много книги, като например (McDdonald 1999). Тя е широко разпространена в държави с дългогодишни традиции в тестовото оценяване. Причината за използването на класическия анализ в тази статия е, че България не е сред тези държави. Подготовката на тестовите материали, оценяването на ученическите отговори и представянето на резултатите от НВО са на базата на класическата теория на тестовете. Това ми дава основание да предполагам, че оставайки в рамките на класическия анализ, представените по-долу резултати ще са по-разбираеми за българския читател.

Поради големия обществен интерес резултатите от НВО са добре известни. Тук са разгледани само задачите с избираем отговор.

2. Суровите данни

Изследвани са 10 995 ученици от област София-град и 1845 ученици от област Плевен, които са се явили на НВО по математика в края на VII клас през 2021 година.

Обработваните данни бяха в таблици на Excel. От тях използвахме данните за училище, населено място и дадените отговори от всеки ученик на задачите от №1 до №18. Кодирането в отговорите е: \(1-\mathrm{A}, 2-\) Б, \(3-\) Г, \(4-\) В, \(0-\) без отговор, 9 – повече отговори (фиг. 1).

За да бъдат изследвани измерителните качества на задачи с избираем отговор, те би трябвало да се оценяват с 1 точка за верен отговор и 0 точки в останалите случаи. Така максималният суров бал става 18. Средният получен бал за София-град е 11,46, а за област Плевен е 8,70. Тази разлика, изследвана с t-тест, е статистически значима (\(p=0,01\) )– изборът на двете области е направен така, че те да са различни: както по броя на учениците, явили се на НВО, така и по получения среден бал.

Тъй като съществени за изследването са само отговорите от 1 до 4, те са заменени с А, B, C, D, за да се импортират в приложението jMetrik \({ }^{2)}\), подробно представено от (Meyer 2014). Това приложение извежда резултат в текстов файл (фиг. 2), който съдържа необходимата информация за всяка задача – трудност, стандартно отклонение, дискриминативна сила.

Получени са два такива файла, по един за всяка от разглежданите области. Въз основа на информацията в тях са анализирани измерителните качества на тестовите задачи, които те показват върху учениците от всяка област. Както е известно, например в предговора на (Hambelton et al. 1991), в рамките на класическата методология измерителните свойства на тестовите задачи зависят от групите ученици, с които те се изследват. Ето защо наблюдаваните разлики не могат да се изследват за статистическа значимост. В случая обаче целта е да се потърсят някои разлики в характеристики на двете популации, които да обяснят различното поведение на задачите върху учениците от двете области.

3. Коефициент на трудност на задача

Коефициентът на трудност на задачата е отношението на броя на учениците, решили тази задача, към общия брой на решавалите задачата. Колкото е по-голям коефициентът, толкова повече ученици са я решили. В този смисъл, по-високият коефициент на трудност означава по-лесна задача. Според Стоименова (Stoimenova 2000), коефициентът на трудност при задачи с 4 възможни отговора трябва да надхвърля \(1 / 4\), за да се счита, че задачата е добра. Тълкуването на коефициента на трудност е дадено на фиг. 3. Очаква се в един тест да има повече задачи с оптимална трудност, но без да липсват лесни и трудни задачи.

След като интервалът \([0,1]\) е разделен на 10 равни части, са изброени задачите, които попадат в един и същ интервал, и се получи следното честотно разпределение в двете области, които са обект на изследване (фиг. 4):

Прилики в резултатите:

– няма много трудни и много лесни задачи за учениците в двете области;

– броят на оптималните по трудност задачи е почти равен – 14 за учениците от област Плевен и 12 за тези от София-град.

Разлики в резултатите:

– хистограмата за област Плевен е центрирана, докато тази за София-град е изместена в посока по-лесни задачи;

– за учениците от София-град няма трудни задачи, докато за учениците от област Плевен такива са 3 от задачите;

– за учениците от София-град 6 от задачите са се оказали трудни, а за учениците от Плевен – само една.

Разглеждайки тези разлики, бе потърсена причина за тяхното съществуване. Едно обяснение може да се види на диаграмата от фиг. 5, в която по хоризонтала са изобразени от 0 до 18 точки, а по вертикала – процентът ученици, получили тези точки. В левите колони са резултатите на Плевен, а в десните – на София. Разпределението при плевенските ученици е с изместен връх с 3 точки наляво от средата, докато при софийските ученици има два пика – единият в средата, а другият – в десния край. Изводът, който може да се направи, е, че в София има много голям брой ученици, за които задачите от НВО са лесно преодолими. Вероятно това се дължи на силната конкуренция за влизане в елитните гимназии, наличието на много допълнителни часове, курсове, уроци. За по-малките населени места мотивацията е по-малка, както и интензивността на допълнителните занимания по математика. Интересно би било да се види какво е положението в другите области на България, за да се проследи тази тенденция.

В таблицата от фиг. 6 са дадени номерата на задачите, подредени от трудни към лесни. Въпреки сериозните разлики, които бяха посочени по-горе, се оказва, че за двете разглеждани области най-трудни са се оказали задачите с номера 6, 3 и 1, а лесните – с номера \(10,2,18\) и 12. В тъмен фон са отбелязани четири задачи, на които коефициентът на трудност в област София-град е с около 0,20 по-голям. Тези задачи са затруднили по-сериозно учениците в област Плевен. Ето кои са трудните задачи.

Задача 1. Стойността на израза \(2021-2020 .(-0,1)\) е:

A) \(-0,1\) Б) 1 +В) 2223 Г) 2219

Задача 3. Стойността на израза \(M=-4 .|3-8|-2 .|5-4|\) е:

A) 22 Б) 18 B)-18 \(+\Gamma)-22\)

Задача 6. Изразът \((y-x)^{2}-y+x\) е тъждествено равен на:

А) \((x-y)(x-y-1)\) Б) \((y-x)(y-x+1)\) В) \((y-x)(x-y)+\Gamma)(x-y)(x-y+1)\)

Любопитно е, че това са алгебрични задачи, които учителите считат за по-лесни за учениците. Според учебното съдържание те представляват:

– ред на прилагане на действията – проблем, който се забелязва у много ученици и след VII клас;

– пресмятане на числов израз с модули;

– разлагане на множители в нетипична ситуация с повече от една стъпка.

Оценената като най-трудна задача 6 ще споменем още няколко пъти в тази статия.

Лесни са се оказали следните задачи.

Задача 2. Стойността на израза \(a^{2}-b^{2}\) при \(a=10,5\) и \(b=9,5\) е:

А) 18,5 Б) 19 В) 19,5 +Г) 20

Тази задача използва типично приложение за рационално пресмятане на една от формулите за съкратено умножение.

Задача 10. Мярката на ъгъл \(N M P\) от чертежа е:

A) \(97^{\circ}\) +Б) \(77^{\circ}\) B) \(56^{\circ}\) Г) \(47^{\circ}\)

Тази ситуация се среща още от първите часове за еднакви триъгълници заедно с много експлоатираната формула за сбора на ъглите в триъгълник. Освен това същата задача е давана на НВО и през предходната 2020 година. Интересното е да се отбележи, че и тогава характеристиките на тази задача не се различават съществено от тези през 2021 година.

Задача 12. Правите \(a, b\) и \(c\) се пресичат в точка \(O\). Мярката на ъгъл \(\alpha\) от чертежа е:

+A) \(100^{\circ}\) Б) \(125^{\circ}\)

В) \(135^{\circ}\) Г) \(145^{\circ}\)

Изправените и срещуположните ъгли са също много често използвани в тестови задачи и това води до лесното решаване на този пример.

Задача 18. На географска карта на 9 см съответстват 3690 км действително разстояние. Ако разстоянието между два града на картата е 3 см, то действителното разстояние между тях в километри е:

А) 123 км Б) 410 км +В) 1230 км Г) 11070 км

В тази задача се предполага използването на пропорция, но е в много олекотен вариант, което позволява да се реши, без много да се мисли и без да има сериозно изчисление. На 9 см съответстват 3690 км, тогава на 3 см – три пъти по-малко. Може би задачата би била с по-висока трудност, ако се питаше например колко е действителното разстояние, което съответства на 2 см от картата.

4. Разграничителна сила на задача

Разграничителната сила (дискриминацията) показва степента, в която дадена задача разграничава учениците с високи постижение от тези с по-ниски. Както е обяснено от Банков (Bankov 2012), тя може да се изчисли:

– или чрез формулата \(D=r_{A}-r_{B}\), където \(r_{A}\) е частта на правилните отговори на силната група, а \(r_{B}\) е частта на правилните отговори на слабата група;

– или чрез точкова бисериална корелация (rpbis) \(\rho_{i}=\tfrac{\mu_{i}-\mu}{\sigma} \sqrt{\tfrac{p_{i}}{q_{i}}}\), където:

-\(\quad \mu_{i}\) е средният бал на решилите \(i\)-та задача;

-\(\mu\) е средният бал на решавалите задачата;

-\(\sigma\) е стандартното отклонение на решавалите задачата;

-\(p_{i}\) е трудността на задачата, \(q_{i}=1-p_{i}\)

В това изследване са използвани резултатите от приложението jMetrik, с което се получава бисериалната корелация на всяка задача по области. Тълкуването на стойностите на коефициента на разграничителна сила според Стоименова (Stoimenova 2000) е дадено на фиг. 7:

На фиг. 8 са дадени коефициентите на разграничителната сила на задачите, подредени низходящо за двете области.

Това, което прави впечатление, е, че за област София-град почти всички задачи имат много добра разграничителна сила, докато за област Плевен такива са половината задачи, а останалите имат по-лоши показатели. Може да се предположи, че тази разлика отново се дължи на голямата група отлично подготвени ученици в област София-град (фиг. 5).

Тук отново се открояват задачите 6 и 3, които бяха разгледани като задачи с висока трудност. Според тази таблица те имат „средна“ разграничителна сила в Плевен, което означава, че и добре представили се ученици също са избирали грешни отговори на тези задачи. Варианти на задача 6 ще бъдат разгледани по-нататък в статията. В същото време, задача 1, която също беше в групата на „трудните“, има отлична разделителна сила. Тази задача проверява знанията на учениците за реда на действията при пресмятане на числови изрази. Това според мен е един лесен начин за проверка на математическата грамотност, така както в книжовния български език пълният член е признак за езикова грамотност.

Най-ниски показатели според разделителната способност има задача 17, която ще разгледаме по-подробно.

Задача 17. В квадратна мрежа с единична отсечка \(x \mathrm{~cm}\) е начертан ромб \(A B C D\). Ако обиколката на ромба е 40 cm, то лицето му е:

+A) \(80 \mathrm{~cm}^{2}\) Б) \(50 \mathrm{~cm}^{2}\)

B) \(40 \mathrm{~cm}^{2}\) Г) \(20 \mathrm{~cm}^{2}\)

На фиг. 9 са дадени процентите на всеки отговор в двете разгледани области, както и коефициентът на бисериална корелация (rpbis).

Вярно решилите тази задача са \(50 \%\) и \(57 \%\) съответно, което означава, че тя е с оптимална трудност, но ниските нива на rpbis (0,24 и 0,32 съответно) показват, че много ученици с нисък бал също са посочвали верния отговор А). Едно обяснение на този факт може да е, че просто пресмятане показва, че \(x=2\) и по-слабите ученици, когато имат две числа (40 и 2), или ги умножават (\(S=40.2\) ), или ги събират, без да се замислят за смисъла на тези действия. Вярното пресмятане на лицето е \(S=5 x .4 x=5.2 .4 .2=80\).

Един вариант, който би подобрил разграничителната сила, е да се промени чертежа, както е на фиг. 10.

Тогава височината на ромба се променя на \(3 x\) и лицето \(S=5 x .3 x=5.2 .3 .2=60\) и верният отговор ще бъде A) 60 cm2.

5. Анализ на дистракторите

Докато верните отговори имат положителни коефициенти на разграничителна сила, то тези на дистракторите трябва да са отрицателни. Колкото този коефициент е по-близо до –1, толкова дистракторът е по-силен. Положителен коефициент на разграничителна сила на дистрактор е недопустим и такива няма в темата.

На фиг. 11 са дадени стойностите на коефициента на бисериална корелация на четирите отговора на всяка задача, като задачите са подредени по номера им. Верните отговори са в тъмен фон.

По отношение на дистракторите, резултатите в област София-град имат много добри показатели, докато в област Плевен се открояват отговорите Г) на задача 1 и отговорите Б) на задача 3, които са оцветени в по-светъл фон в таблицата на фиг. 11. Задача 3 беше разгледана по-горе, като въпросният отговор Б) се получава, когато модулите се разкрият като обикновени скоби. Т.е. немалка част от „силните“ ученици в област Плевен са пренебрегнали наличието на модул. Задача 1 ще бъде анализирана малко по-нататък в статията.

На фиг. 12 е изобразено процентното разпределение на отговорите на всяка задача за двете области. Верните отговори са в тъмен фон. Според класическата теория на тестовете дистрактори, събрали под 5%, са нежелателни. Както се вижда, има немалко дистрактори със стойности, близки до 5% (оцветени са с по-светъл фон).

Ето някои интересни моменти.

– За област Плевен се забелязва добро разсейване на отговорите, като само този на задача 1 Г) е избран от 5% от учениците. Под 10% са 2 А), 4 В), 12 Г) и 18 Г). Много атрактивен е отговор 6 Г) – 43%.

– За област София-град лоши показатели имат 12 задачи, като много ниски стойности (около 5%) за 13 отговора. Само 6 задачи имат добри показатели.

Да обърнем внимание на някои дистрактори в конкретни задачи.

Задача 1. Стойността на израза \(2021-2020 .(-0,1)\) е:

A) \(-0,1\) Б) 1 +В) 2223 Г) 2219

Да разгледаме отговор Г). Той се получава като \(2219=2021-202\), т.е. при грешка в умножаване на две отрицателни числа. Тъй като този отговор е посочен от малка част от учениците (фиг. 13), може да се счита, че това правило за умножение е отлично усвоено. От друга страна, близката до 0 разграничителна сила (съответно \(-0,08\) и \(-0,15\) ) означава, че и силни ученици са избирали този отговор.

За учениците от област Плевен тази задача се е оказала трудна, като редът на прилагане на действията е проблем за около \(2 / 3\) от учениците, докато за учениците от област София-град задачата има оптимална трудност – проблем имат около \(1 / 2\) от учениците.

Задача 6. Изразът \((y-x)^{2}-y+x\) е тъждествено равен на:

A) \((x-y)(x-y-1)\) Б) \((y-x)(y-x+1)\) В) \((y-x)(x-y) \quad+\Gamma)(x-y)(x-y+1)\)

Задачата има добри показатели за разграничителна сила (фиг. 14), но атрактивността на отговор Б) налага по-внимателен анализ. Едно възможно решение, с изнасяне на знак минус три пъти, е:

\[ \begin{aligned} & (y-x)^{2}-y+x=(y-x)^{2}-(y-x)=(y-x)(y-x-1)= \\ & =-(x-y)[-(x-y+1)]=(x-y)(x-y+1) \end{aligned} \]

Отговорът Б) вероятно се получава при грешка след втория знак „=“, когато \(x\) и \(y\) са си разменили неправилно местата.

Друго възможно решение, което е по-кратко и значи възможностите за допускане на грешки са по-малко, е:

\[ (y-x)^{2}-y+x=(x-y)^{2}+(x-y)=(x-y)(x-y+1) \]

При него обаче се изисква познаване на правилото \((y-x)^{2}=(x-y)^{2}\) за умела размяна на местата на \(x\) и \(y\). Поради ниската разграничителна сила \((0,30\) при учениците от област Плевен) тази задача може да бъде преработена, като ако изразът в условието е \((y-x)^{2}+x-y\), тогава учениците ще се досетят да използват посоченото по-горе правило.

Задачите с номера 12 и 18, които бяха разгледани по-горе, имат приблизително еднакви характеристики – сравнително лесни, с отлична разделителна способност, добре разпределени дистрактори, но с голям процент на избралите верния отговор.

6. Заключение

Въпреки ограниченията, които съществуват в използване на класическата методология, направеното изследване на задачите с избираем отговор от НВО – VII клас, проведено през 2021 г. в областите София-град и Плевен, дава основание да се направят следните изводи.

– По отношение на коефициента на трудност задачите са добре балансирани, но за учениците от област София-град тези задачи не са особено трудни. Основната причина за това вероятно е високата конкуренция за кандидатстване в елитните софийски гимназии и нуждата от повече подготовка за това.

– По отношение на разграничителната сила на задачите – за област София тя е отлична, докато за област Плевен има три задачи, които имат нужда от редакция. За тези задачи съм посочил варианти, които считам, че биха подобрили коефициента на разграничителна сила.

– Типични затруднения учениците изпитват в определяне реда за прилагане на действията при пресмятане на числови изрази и изрази с модули, както и при изнасяне на знак минус пред скоби.

– Лесни задачи са тези, свързани със сбор на ъглите в триъгълник, срещуположни ъгли и мащаб.

От тези показатели може да се заключи, че задачите с избираем отговор от НВО след VII клас през 2021 г. са добре подбрани, поне за учениците от разглежданите области. Тъй като популациите в тези две области са различни, с известна уговорка може да направим подобно заключение за учениците от цялата страна.

БЕЛЕЖКИ

1. Национално външно оценяване за VII клас, МОН, Retrieved 03.11.2022 from: https://web.mon.bg/bg/100149

2. jMetrik, Retrieved 03.11.2022 from: https://itemanalysis.com/jmetrik-download/

ЛИТЕРАТУРА

БАНКОВ, К., 2012. Увод в тестологията. София: Изкуства.

СТОИМЕНОВА, Е., 2000. Измерителни качества на тестове. София: НБУ.

REFERENCES

BANKOV, K., 2012. Uvod v testologiata. Sofia: Izkustva [in Bulgarian].

HAMBLETON, R. K., SWAMINATHAN, H., & ROGERS, H. J., 1991. Fundamentals of Item Response Theory. Sage.

McDONALD, R.P., 1999. Test Theory: A Unified Treatment (\(1^{\text {st }}\) ed.). New York: Psychology Press.

MEYER, J.P., 2014. Applied measurement with jMETRIK (\(1^{\text {st }}\) ed.). New York: Routledge. Available at: https://doi.org/10.4324/9780203115190.

STOIMENOVA, E., 2000. Izmeritelni kachestva na testove. Sofia: NBU [in Bulgarian].