https://doi.org/10.53656/str2023-4s-4-whe

Резюме. Винаги когато стане въпрос за оценяване и акредитация, онова, което най-силно вълнува академичната общност, е доколко прилаганата от Националната агенция за оценяване и акредитация критериална система може да „улови“ точно и безпристрастно качеството на обучение във висшите училища в България. Често различията в оценките са от порядъка на стотни след десетичната запетая, но притежават значим диференциращ смисъл. Настоящата статия анализира критериалната система на НАОА, като акцентира върху възможностите за скалиране и калибриране на включените в нея индикатори. Основната теза е, че обективността на оценката освен от броя на индикаторите зависи и от прецизността и прозрачността на оразмеряването им. В теоретичен план „прочитът“ на критериалната система на НАОА стъпва върху теорията на измерването и теорията за размитите множества (fuzzy set analysis). В заключение са обобщени основни констатации за критериалната система и се дават някои препоръки за нейното подобряване.

Ключови думи: измерване; оразмеряване на показатели; критериална система; НАОА

1. Въведение

Усилията на Националната агенция за оценяване и акредитация (НАОА) към усъвършенстване на методиката и критериалната система за оценка на качеството на висшето образование в България са безспорни. През годините критериалната система е била няколкократно променяна с цел усъвършенстването ѝ. Понастоящем академичната общност отново се вълнува от методиката за институционална и програмна акредитация, както и от съпътстващата я нова критериална система, която предстои да бъде въведена. Това, което „буни“ най-силно духовете, е дали и доколко новата система ще може да „улови“ точно и безпристрастно качеството на обучението във висшите училища в България.

При изказването на каквито и да е мнения относно новата методика и съпътстващата я критериална система обаче следва да се направят две важни уговорки: (1) Нито една оценяваща система не е перфектна и безгрешна и (2)„Качеството не е лесно да се определи“. Последното е залегнало и сред принципите на Стандартите и насоките за осигуряване на качеството в Европейското пространство за висше образование (ESG)1. Особено трудно е да се определи и измери качеството на сложна и социално чувствителна система, каквато е висшето образование. Често разликите в оценките на отделните висши училища и/или професионални направления са в стотни от десетичната запетая, но значимостта им е несъразмерно огромна.

Основна цел на настоящата статия е да анализира критериална система на НАОА, от гледна точка на възможностите за скалиране и калибриране на включените в нея индикатори.

Основна теза е, че обективността на оценката, освен от броя на индикаторите, зависи от тяхното адекватно оразмеряване (скалиране и/или калибриране). Макар в идейно-концептуално и структурно отношение критериалната система на НАОА да е добра и адекватна на европейските стандарти, тя трудно би постигнала целите си, ако измервателният инструментариум не е „настроен“ по адекватен и експлицитен начин.

Теоретична рамка на анализа. „Прочитът“ на критериалната система на НАОА (настояща и предстояща) е осъществен през призмите на теорията на измерването и теорията за размитите множества (fuzzy set analysis). Теорията за измерването задава правилата и принципите както на самия процес по измерване, така и правилата за конструиране и приложение на конкретните измервателни инструменти – скалите. От друга страна, теорията за размитите множества представя като алтернатива на измерването и измервателните скали – калибрирането. То е особено полезно, когато става въпрос за сложни и неясни понятия или характеристики, като например „качество на образованието“, „научност“, „добри практики“, „експертност“, „новаторство“ и др.

2. Някои теоретични аспекти на измерването и калибрирането

Измерване и измервателни скали. Всяко измерване, за да има смисъл и да бъде релевантно, следва да отговаря на три основни критерия: обективност, надеждност и валидност. Обективността предполага отсъствието на външни влияния върху резултата от изследването, а също и липса на зависимост от лицето, което извършва измерването. Надеждността е свързана с това доколко коректно се отразява емпиричната релационна система. Валидността е по-стигната, когато измервателният инструмент (скала, индикатор или др.) мери точно това, което би трябвало на измерва (Lambova & Zheliazkova 2019, p. 389). За съжаление, както казва Норбърт Винер: „нещата не вървят …. заедно с техните мерки, щамповани върху тях като капацитет на товарен вагон“2.

Според Стивънс измерването, в най-широк смисъл, е „процедура, при която се присъждат цифри, номера или други символи на емпирични свойства (променливи), според определени правила“ (Stevens 1946, р. 677). Фактът, че цифрите могат да бъдат присъдени, според различни правила, води до различни видове измервателни скали3. Те задават: (а) различените правила за присъждане на цифри към отделните значения на измервания признак; (б) допустимите математическо-статистическите операции, на които може да бъде подложена променливата, измерена чрез съответната скала; (в) възможните тълкувания на значенията на наблюдавания признак.

Според Нахмияс при измерването най-важният въпрос е дали цифровата система е структурно подобна на структурата на измерваната концепция (Nachmias and Nachmias 1987, p. 160). Следователно „майсторлъкът“ при разработването на измервателни сакали е формирането на най-релевантната числова проекция на емпиричните характеристики на изследвания обект. А основна цел на измерването е „правдиво отражение на реално съществуващите съотношения в изследваната емпирична система“ (Lambova 2018, p. 115). За съжаление, често, при не добре конструирани измервателни скали, са възможни несъответствия между измервания обект и неговата проекция, което рефлектира и върху качеството на отражението.

Съгласно постулатите на теорията на измерването свързването на концептуално-теоретичното равнище с емпирично наблюдаемото равнище се постига посредством процеса на операционализация. Той следва да установи по какъв начин определена теоретична конструкция, като например „качество на образованието“, може да бъде измерена и с какви измервателни инструменти да се осъществи квантифицирането на отделните значения на изследваните свойства на конструкцията. Най-често при операционализацията на сложни теоретични конструкции се използват индикатори, както правилно е подходено и в критериалната система на НАОА.

Индикаторите (понятийни и емпирични) са основните единици на информация, които „осигуряват движението на познавателния процес от основните теоретични понятия към емпиричната реалност и обратно, което прави възможно и самото измерване, а също и събирането и анализа на първичната информация“ (Mihailov & Tikidjiev 1997, p. 169). За да се елиминира спекулативният елемент, както и вътрешната противоречивост при многозначни и неопределени понятия, следва да се приложи такава система от понятийни и емпирични индикатори, която да дефинира достатъчно точно основното понятие, обект на измерване.

Посредством операционализацията освен понятийните и емпиричните индикатори се определя и нивото на скалирането им. Нещо, което в критериалната система на НАОА, на практика, липсва. Критериите на НАОА стигат до ниво индикатори, наречени „съдържание на критериите“, с обозначен общ брой точки/тегла за всеки от тях, но не и до конкретните значения на признака, който измерват. С други думи, индикаторите операционализират, в по-малка или в по-голяма степен, критериите, но самите индикатори не са докрай операционализирани. Някои от тях дори са останали на високо ниво на неопределеност, което, на практика, ги прави обективно неизмерими. Именно подобни пропуски в операционализацията и оразмеряването на индикаторите пораждат непрозрачността при присъждането на оценките.

Размити множества (fuzzy set analysis). Размитите множества са относително нова категория в социалните науки, която се развива в рамките на аналитичната система на качествения сравнителен анализ (QCA). Към такъв тип множества се отнасят понятия, характеристики или свойства, които е трудно да бъдат еднозначно дефинирани, следователно операционализирани и скалирани. Алтернативен начин на тяхното измерване се явява калибрирането – установяване на зависимостта между стойностите на величината спрямо предварително установен еталон (Ragin 2008, p. 174).

Теорията на размитите множества все по-успешно доказва пригодността си при интерпретацията и решаването на различни теоретико-практически проблеми, някои от които доста наподобяват тези, с които трябва да се справи критериалната система на НАОА. Така например Ламбовска предлага интересен модел за измерване представяното на екипи и системите за контрол на екипите, базиран именно на теорията за размитите множества (Lambovska 2018). За целите на модела се операционализират и калибрират лингвистични (размити) променливи, подобни на тези, с които изобилстват индикаторите в критериалната система на НАОА.

Степента на принадлежност към размито множество обикновено се движи в интервала от 0.0 до 1.0, като 0.0 означава пълно изключване, а 1.0 – пълна принадлежност. В подобни интервали например са зададени някои от индикаторите (количествени и качествени) в критериалната система на НАОА.

Идеята за калибрирането е заимствана от науки като химия, физика, астрономия, в които то е необходима и рутинна изследователска практика. В тези науки изследователите калибрират своите измервателни уреди и показанията, които тези уреди произвеждат, чрез коригирането им (нагласяването им), така че да съответстват на предварително определени стандарти. Тези стандарти правят измерването пряко обяснително и готово за интерпретация (Ragin 2008, p. 175). Ето защо калибрирането е удобно и може да се прилага както при количествени, така и при качествени измервания.

3. Обща характеристика на критериалната система на НАОА

Структурно-съдържателни характеристики. В структурно отношение новата методика и съответстващата ѝ критериална система не се различават от досега действащата (вж.: табл.1). Запазват се броят на стандартите и броят на критериите към тях, както и относителната им тежест. Значимата промяна е налице в броя на емпиричните индикатори, т.нар. „съдържание на критериите“. Техният брой е нараснал почти двойно – от 50 на 107, като този път са разделени в две категории – количествени (N) и качествени (Q), които са съответно 68 и 39 на брой. Респективно почти двойно (от 120 на 2414) е увеличен броят на точките (неясно и необосновано защо този път наречени „тегла“5), които се присъждат по съответните показали. По критерии 1.1; 1.2 и 9.1 е запазен досегашният брой точки/тегла – 10. По критерий 5.2 точките са утроени, а при останалите критерии – удвоени.

Реално обаче качествените показатели са с 10 повече от посочените, защото по всеки критерий е заложен и по един „общ“ количествен показател, наименуван „Добри практики на ВУ областта на Стандарт 1…10, които могат да се определят като новаторски в национален и/или европейски контекст“ на който не са присъдени точки/тегла. Това повдига въпроса как точно ще се оценява подадената от ВУ информация по този критерий. Не са постановени и ясни критерии за „новаторство“. Кой и как ще го измерва? Тези допълнителни, но некалкулирани качествени показатели създават възможност за субективно „изкривяване“ на крайната оценка. Приемливо решение за тях би било калибрирането им чрез ясно постановени еталони за „новаторство“, „добра практика“, „национален и европейски контекст“.

Количествени срещу качествени индикатори. Един от ключовите проблеми на предлаганата нова критериална система на НАОА е фактическото противопоставяне на количествени и качествени индикатори, което априорно „подкопава“ обективността на оценката. Подобно противопоставяне е неоправдано и внушава усещане за „необективност“ на качествените индикатори. Не трябва да се забравя обаче, че разликата между количествени и качествени индикатори е единствено в естеството на изходната емпирична информация, определена от свойството на измерваната характеристика/променлива. Количествените признаци са „директно наблюдаеми и позволяват еднозначно отражение чрез числова релационна система“, като операционализацията при тях се изразява в регистрация на числови величини с помощта на съответна метрична скала. Докато качествените признаци „се характеризират с това, че техните значения първично не могат да бъдат проектирани чрез числова система и следователно не могат да бъдат регистрирани чрез измервателни уреди, тъй като представляват словесни категории (Lambova & Zheliazkova 2019, p. 396). Именно защото са словесни категории, те са неясни, нееднозначни, поддаващи се на различни интерпретации и могат да бъдат съотнесени към размитите множества.

Ето защо, този тип индикатори се нуждаят от специално внимание при конструиране на измерването, което би могло да се случи чрез калибрирането. Прекалено рисковано и предпоставящо необективност е интерпретацията на конкретните емпирични значения на индикаторите да се остави единствено и само на „преценката на експертите“. Членовете на експертните групи на НАОА следва единствено да сверяват и оценяват информацията, но като се ръководят и придържат към подадените им като еталон оразмерявания и/или операционализирани дефиниции на неясните понятия, заложени в качествените (а също и в някои количествени) индикатори.

Два са възможните варианти на решения на проблема с измерването и оразмеряването на качествените индикатори: (1) по-труден – детайлна операционализация на количествените индикатори до равнище на конкретните емпирични значения на измервания признак посредством рангова скала; (2) по-лесен – дихотомно номинално отчитане изпълнението на качествените индикатори само с ДА/НЕ; Наличие/Отсъствие (виж примери 2 и 3 в приложението).

Друг проблем, който идентифицира анализа на критериалната система на НАОА, е, че най-големи тегла/точки се присъждат на качествени индикатори, докато при количествените, поради прекалено големия им брой, отделните тегла/точки са раздробени, като преобладават тези с максимални стойности 1 и 2. Това затруднява скалирането и калибрирането им, като ги ограничава в диапазона от 0 до 1 и от 0 до 2, което предполага диференциация от порядъка на стотни между отделните степени. Това затруднение би могло евентуално да бъде преодоляно чрез словесното отчитане на качествените индикатори, като по този начин се „освободят“ точки/тегла, които биха могли да се прехвърлят към количествените и съответно да ги направят по-отчетливо измерими: вместо по 1 точка, която е трудно да бъде „раздробена“ за обхващане на отделните степени на притежание на измервания признак, ще бъдат заложени поне 2 и повече.

В заложената опозиция количествени – качествени индикатори е налице съществено за крайния резултат „залитане“ (с презумпцията за по-голяма обективност) към количествено отчитане на качествени характеристики, които освен това са специфични6.

За целите на анализа е направен опит за илюстративно оразмеряване на количествен индикатор по критерий 5.2 (това е критерият с най-голяма относителна тежест от 20% в общата оценка). Индикаторът е избран заради сравнително по-отчетливия брой точки/тегла, които са предвидени за него (виж пример 1 от приложението). Избраният индикатор също попада в категорията на количествените индикатори, които реално се опитват да измерят качествени характеристики.

Самоцелното събиране на количествени данни е несъстоятелно и изпразнено от релевантно информационно съдържание. Освен всичко друго това създава и проблем при измерването. Когато качествени свойства биват „трансформирани при измерването в псевдоколичествени признаци“ и се анализират с помощта на методи, подходящи единствено при работа с метрично скалирани признаци, се получават резултати, „за които е по-добре да не се разсъждава за тяхната логическа състоятелност“ (Lambova 2018, 117).

Мерните единици. Освен с оразмеряването на индикаторите критериалната система на НАОА има проблем и с мерните единици. За основен измерител при количествените индикатори е предпочетена като „най-добрия вариант“ средната аритметична оценка и нейните производни в абсолютни и относителни стойности, които „дават по-добра представа за качеството на образованието в съответното ПН“7. Тези стойности обаче показват единствено и само определени съотношения, но сами по себе си, не са показател за качество.

Според експерти статистици осредняването както на количествени, така и на качествени показатели е „твърде спорно от гледна точка на логическата му състоятелност“. Освен това качествените показатели се характеризират с известна „естествена подреденост“ и това им свойство позволява въвеждането на числа (рангове), подходящи за представянето на тяхната възходяща или низходяща последователност. Използването на тези числа като основа за осредняване е несъстоятелно и лишено от смисъл. Според Ламбова „привидно по този начин се осъществява трансформация на качествен в количествен признак, но метаморфозата е само външна“. Тя твърди също така, че с подобна трансформация „качественият признак не се превръща в количествен само защото значенията му са получили числови наименования“ (Lambova 2017, p. 167).

Друго, което прави впечатление в критериалната система, е наличието и на неконсистентност на измерителите. Така например в таблицата за набиране на първични данни почти всички измерители са зададени в абсолютен брой. Необяснимо защо, на места обаче се поява и друг измерител – „средногодишен брой“. Това прави данните несъпоставими. Например в едно и също „гнездо“ се изискват данни за „брой новоприети студенти“, „брой приети по първо желание“ и „средногодишен брой отпаднали“. За да се измери съотношението новоприети – отпаднали студенти, следва да се вземе предвид и абсолютният брой отпадналите8.

Като цяло, първичните данни, както и конструираните на тяхна основа качествени и количествени индикатори, изобилстват от размити (fuzzy) понятия, които следва да бъдат операционализирани (емпирично дефинирани), за да бъдат нееднозначно разбираеми при измерването им. Такива са например: „изявени специалисти от практиката“, „брой лица, администриращи обучението“, „общ брой публикации“9 и много други.

Добре би било видовете публикации да се унифицират за всички бази данни и контролни институции, като МОН, РС, НАЦИД и НАОА, за да има съпоставимост на резултатите и унифициране на събирането и поддържането на регистри на първични данни. Публикациите следва да включват всички основни категории и техните разновидности: доклади от конференции, статии, студии, монографии, учебници, учебни пособия, експертни анализи за нуждите на бизнеса и др.

Въпреки изключителната си раздробеност новата критериална система на НАОА не отчита някои важни индикатори, които е добре да бъдат включени, за да се осигури пълно покритие на основната академична дейност. Такива показатели са например: „брой учебници и учебни помагала“; „участие в процедури по акредитация“ (в работни групи за подготовка на доклади самооценка, експертни групи, други); „допълнителна професионална активност на преподавателите“ (като участие във външни експертизи участие като ключов експерт в проекти; участие в управителни съвети на стопански единици, др.); „брой написани рецензии от преподавател на ОТД“ (на монографии, студии, статии, учебници, учебни пособия и др.); „участие в научни журита“10 (за доктор, главен асистент, доцент, доктор на науките и професор). И това са само част от „пропуснатите“, но важни за пълно обхващане на академичната и научноизследователската дейност индикатори.

4. Заключение

В заключение могат да се обобщят следните изводи относно критериалната система за оценка на качеството на висшето образование на НАОА. (1) Основната принципна слабост на методиката (настоящата и новата) е липсата на експлицитно оразмеряване (скалиране и/или калибриране) на индикаторите. Именно тази липса прави процеса на формиране на оценката непрозрачен и подлага на съмнение обективността ѝ. (2) Количеството невинаги мери качество. Увеличаването на броя на индикаторите не подобрява обективността на оценката, а само излишно утежнява механизма на нейното формиране, като увеличава непрозрачността на процеса. Всичко това създава предпоставки за контестации от страна на ВУ при несъгласие с присъдените акредитационни оценки. (3) При първичните данни, въз основа на които се формират индикаторите за оценка, има множество неиздържаности, дължащи се на: неясни понятия (които задължително трябва да се операционализират); неподходящи мерни единици за някои от показателите; категориални дублирания в показатели; непълно покриване с показатели на научноизследователската и извънаудиторна дейност на преподавателите в ВУ.

За да постигне заложите цели, а именно – „облекчаване на процедурата“ и „по-голяма обективност“, в методиката на НАОА и съпътстващата я критериална система би било добре да се направи следното: (1) детайлно и методологически съобразено оразмеряване на индикаторите чрез експлицитно скалиране и калибриране; (2) окрупняване на индикаторите чрез редуциране на броя им и организирането им две групи: задължителни/основни и допълващи/ специфични; (3) унифициране на първичните данни, които ВУ подават към НАЦИД, РС и НАОА чрез интегрирането им в Единна информационна система, която да обслужва всички заинтересовани институции. По този начин, от една страна, ще се осигури по-голяма съпоставимост на първичните данни, а от друга – ще се облекчи процесът по събиране, обобщаване и предоставяне на необходимата информация от страна на ВУ.

Колкото и да е трудно да се измери и оцени качеството на образованието във висшите училища, през годините на съществуването си НАОА е постигнала значим напредък, който следва да се отчете и признае. Но винаги има какво да се усъвършенства, и именно в това е смисълът от подобни анализи.

Благодарности. Настоящият анализ е представен с едноименен доклад на Националната научно-практическа конференция „Дигитална трансформация на образованието: проблеми и решения, оценяване и акредитация“, проведена на 27 – 28 април 2023 г. в Русенския университет „Ангел Кънчев“.

Докладът е награден от Програмния комитет с грамота и с кристалния приз The best paper. Авторът изказва своята благодарност на Програмния и Организационния комитет на конференцията за предоставената ѝ възможност за участие и полученото отличие!

Приложение

Оразмеряване чрез номинално, рангово и интервално скалиране на количествени индикатори, които реално мерят качествени характеристики

Ако вземем Стандарт 5, Критерий 5.2 (който е с най-голяма относителна тежест от 20% в общата оценка), той е разгърнат 2 качествени индикатора и общо 15 количествени индикатора. За целите на илюстрацията вземаме един от количествените индикатори.

Пример 1: N5.2.14. – Относителен дял на преподавателите (спрямо общия брой) с награди и отличия за академични, творчески и спортни изяви в ПН/СРП (тегло 5).

При липсата на „оразмеряване“ не е ясно за какъв размер на относителния дял ще бъдат присъдени 5 т., за какъв – съответно 4, 3, 2 ,1 точка.

Оразмеряването/скалирането би следвало да изглежда по следния начин:

Т.е. необходимо е задаване на измервателна сакала със съответните мяра и дължина и интервална стъпка. Именно тук е „майсторлъкът“, респективно обективността и прозрачността на измерването.

Пример 2: Q1.2.1 „Осигурява се вътрешна съвместимост на специалностите от ПН/СРП с мисията на ВУ/НО, което носи определен синергичен ефект за институцията“. Като остави на страна неясните понятия като „определен синергичен ефект“ (колко точно определен?, определен от какво и т н.), би могло да се степенува съвместимостта, както следва:

пълна съвместимост – 2 точки/тегла;

частична съвместимост – 1 точка/тегло;

липса на съвместимост – 0 точки/тегла

Пример 3: Q 3.1.6. Съществуват и действат система и правила за приемане и разглеждане на жалби от обучавани.

Да – 1

Не – 0

Или друг вариант:

Съществуват и система, и правила – 1 точка/тегло.

Съществува установена система, но без експлицитно разписани правила – 0.5 точки/тегла.

Има разписание и приети правила, но все още няма оперативно действаща система – 0,5 точки/тегла.

Липсват система и правила – 0 точки/тегла

БЕЛЕЖКИ

1. Вж.: СТАНДАРТИ И НАСОКИ за осигуряване на качеството на Европейското пространство за висше образование (ESG), май 2015, прев. на бълг. език, достъпна на адрес:https://www.enqa.eu/wp-content/uploads/filebase/ esg/ESG%20in%20Bulgarian_by%20NEAA.pdf

2. Прецитирано от Nachmias, D.& Nachmias, Ch. (1987), p. 157.

3. Основните измервателни скали са: номинална, ординална (рангова) и интервална.

4. Предполагам, от гледна точка на логиката на формиране на остойностяването на индикаторите, че е допусната грешка при точкуването на индикаторите по критерий 5.2 и би следвало броят точки по количествените показатели да с 1 точка по-малко, т.е. – 38, а не 39 (както е в момента). Така общият брой точки (от качествените и количествените показатели) по критерий 5.2 ще бъде 48 и събран с точките по критерий 5.1., които са 22, да формират кръгло число от общо 70 точки . Тогава и общият брой точки би бил кръгло число 240, което е точно два пъти по-голямо от общия брой точки в настоящата методика.

5. От методологична гледна точка, всеки емпиричен индикатор следва да бъде „остойностен“ за целите на крайната оценка, като за това могат да се използват различни мерни единици, като в сега действащата методика това са брой точки, в новата критериална система – тегла. В теорията и практиката на измерването, понятието „тегло“ е атрибутивна категория, с която се обозначава значимостта/тежестта, която се придава на едно или друго остойностяване в рамките на общата крайна оценка. Т.е., за да приложим определено „тегло“, преди това трябва да имаме някаква конкретна оценка/остойностяване на съответния индикатор. Ето защо замяната на термина „брой точки“ от сега действащата методика с термина „тегло“ в новата е неподходящо и объркващо. Така не става ясно тези „тегла“ какво точно претеглят.

6. Такива са например следните индикаторите: N 5.1.2 „Средногодишен относителен дял (в проценти) преподаватели (спрямо общия им брой в съответната година) – главни редактори на редакционни колегии на индексирани и/или реферирани специализирани списания в ПН/РСП“ и N5.1.3 „Средногодишен относителен дял (в проценти) преподаватели (спрямо общия им брой в съответната година) – членове на редакционни колегии на индексирани и/или реферирани специализирани списания в ПН/РСП“.

7. Виж интервюто на Александра Маркарян с председателя на НАОА проф. Кабакчиева, достъпно на адрес: https://offnews.bg/interviu/promeni-vakreditatciata-shte-stimulirat-universitetite-da-povishat-ni-722405.html

8. Тук има и терминологична неточност. Във висшето образование не се използва терминът „отпаднали студенти“, а „прекъснали“ и „отстранени“.

9. В понятието „общ брой публикации“ следва да се отчитат и публикуваните доклади от конференции, в противен случай се обезсмисля участието в подобни формати, но пък за тях има постановени самостоятелни критерии, като например: „брой проведени конференции“ или „брой участия на преподаватели и студенти в научни конференции“.

10. Допълнително биха могли да бъдат подразделени на участие в научно жури с рецензия/становище; в собствения ВУ, в друг ВУ и т.н.

ЛИТЕРАТУРА

ЛАМБОВА, М. 2017. За средния аритметичен успех и проблемите, свързани с неговата логическа състоятелност. Стратегии на образователната и научната политика, Т. 25, №. 2, с. 159 – 174..

ЛАМБОВА, М. 2018. Измерването – неглижираният проблем при емпирични изследвания, осъществявани с помощта на статистически инструментариум. Статистика, бр. 2, с. 115 – 148.

ЛАМБОВА, М.; ЖЕЛЯЗКОВА, С., 2019. За логиката на точкуването на научната продукция според Правилника за прилагане на Закона за развитието на академичния състав на Република България. Стратегии на образователната и научната политика, T. 27, №. 4, с. 381 – 397, достъпно на адрес: https://www.ceeol.com/search/ viewpdf?id=801715.

МИХАЙЛОВ, С.; ТИЛКИДЖИЕВ, Н., 1997. Енциклопедичен речник по социология, второ доп. издание, София: Михаил Мирчев. ISBN 954-8177-15-3.

LAMBOVSKA, M., 2018. A Fazzy Model For Team Control and its Application. Management and Production Engineering Review, vol. 9, No 3, September, pp. 108 – 119, DOI: 10.24425/119540.

NACHMIAS, D.; NACHMIAS, C., 1987. Research Methods in the Social Sciences, 3rd edition, St. Martin Press, New York, ISBN: 0-3112-67627-1.

RAGIN, C. C., 2008 (online). Measurement Versus Calibration: A Set‐ Theoretic Approach. In: BOX-STEFFENSMEIER, J. M.; BRADY, H. E. AND COLLIER, D. (eds), The Oxford Handbook of Political Methodology.

https://doi.org/10.1093/oxfordhb/9780199286546.003.0008.

STEEVENS, S., 1946. On the Theory of Scales and Measurement. Science, vol. 103, No. 2684, June, pp. 677 – 680, Available at:

https://psychology.okstate.edu/faculty/jgrice/psyc3120/Stevens_ FourScales_1946.pdf.

REFERENCES

LAMBOVA, M., 2017. The Nature and Logic of the Average Grade Indicator (in Bulgarian). Strategies for Policy in Science and Education – Strategii na Obrazovatelnata i Nauchnata Politika, vol. 25, no. 2, pp. 159 – 174.

LAMBOVA, M., 2018. Measurement – the neglected problem in empirical research, carried out using statistical tools. Statistics, no. 2, pp. 115 – 148.

LAMBOVA, M.; ZHELIAZKOVA, S., 2019. On the Logic of Scoring of Scientific Production according to the Regulations for the, Application of the Act for the Development of the Academic Staff in the Republic of Bulgaria. (in Bulgarian). Strategies for Policy in Science and Education – Strategii na Obrazovatelnata i Nauchnata Politika, vol. 27, no. 4, pp. 381 – 397, Available at: https://www.ceeol.com/search/ viewpdf?id=801715.

LAMBOVSKA, M., 2018. A Fazzy Model For Team Control and its Application. Management and Production Engineering Review, vol. 9, no. 3, September, pp. 108 – 119, DOI: 10.24425/119540.

MIHAILOV, S.; TIKIDJIEV, N., 1997. Encyclopedic Dictionary of Sociology Sofia: Mihail Mirchev. ISBN 954-8177-15-3. (in Bulgarian).

NACHMIAS, D.; NACHMIAS, C., 1987. Research Methods in the Social Sciences, 3rd edition, St. Martin Press, New York, ISBN: 0-3112-67627-1.

RAGIN, C. C., 2008 (online). Measurement Versus Calibration: A Set‐ Theoretic Approach. In: BOX-STEFFENSMEIER, J. M.; BRADY, H. E. AND COLLIER, D. (eds.), The Oxford Handbook of Political Methodology.

https://doi.org/10.1093/oxfordhb/9780199286546.003.0008.

STEEVENS, S., 1946. On the Theory of Scales and Measurement. Science, vol. 103, no. 2684, June, pp. 677 – 680, Available at:

https://psychology.okstate.edu/faculty/jgrice/psyc3120/Stevens_ FourScales_1946.pdf.