https://doi.org/10.53656/str2023-4s-3-eva

Резюме. Създаването на критерии, качествени и количествени индикатори за оценяване и акредитация на обекти на висшето образование под формата на т.нар. „критериални системи“, както и на съпровождащите ги методики и процедури изисква анализ на конкретни проблеми. В работата се представят 10 (десет) основни проблема на системата за акредитация на българското висше образование. Някои са следствие от промени в ЗВО, според които работата на ВУ, постоянни комисии и експертни групи на НАОА се увеличава поне с 50%. С цел редуциране на обема дейности, както и за преодоляване на субективния фактор при формиране на акредитационни оценки и препоръки, е необходимо да се създаде общ модел на критериална система и да се проектира дигитална среда (под формата на електронна платформа на НАОА), на базата на които да се планират и провеждат съответните процедури. Ефективни решения на основните проблеми и редуциране натовареността на акредитационните процедури са възможни единствено на база ускорена дигитализация на висшето образование. Основни елементи на общ модел на критериална система и на съответна дигитална среда са изведени на база решения – не всички еднозначни, на дискутираните проблеми.

Ключови думи: акредитация на висшето образование; качествени и количествени индикатори; дигитализация на висшето образование; модел на критериална система; електронна платформа на НАОА

Актуализация на системата от критерии и процедури за оценяване на качеството и за акредитация на българското висше образование (ВО) се налага от:

– промени в нормативната база на ВО (Закон за висше образование (ЗВО) от 2021 г., Наредба за държавните изисквания за организиране на дистанционна форма на обучение във висшите училища от 2021 г. и др.);

– необходимост от повишаване обективността на методиките за оценяване (от експертна група (ЕГ), постоянна комисия (ПК) и акредитационен съвет (АС) на Националната агенция за оценяване и акредитация (НАОА)) в различни периоди (първоначална или последваща акредитация) от жизнения цикъл на различни образователни обекти (висши училища (ВУ), професионално направление (ПН) / специалност от регулираните професии (СРП), докторски програми, специалности в дистанционна форма на обучение и др.);

– ускоряване на дигиталната трансформация на образованието (резултат и от КОВИД-19), в частност повишаване степента на дигитализация на ВО, и създаването на електронна платформа на НАОА (според чл. 75., ал. 6. на ЗВО).

Процесът на актуализация, съпроводен от създаване на системи от критерии, качествени и количествени индикатори за оценяване и акредитация на образователни обекти от различен тип, изисква решения на проблеми и отговори на конкретни въпроси – не всички еднозначни, както следва.

ОСНОВЕН ПРОБЛЕМ. Според предишния регламент в ЗВО (и стария Правилник на НАОА) в рамките на 6 години българските ВУ и научни организации (НО) се оценяваха и акредитираха за всички провеждани от тях форми на обучение за придобиване на образователна и квалификационна степен (ОКС) и/ или образователна и научна степен (ОНС). Сега (според ЗВО и Правилника на НАОА и при 4-годишен акредитационен период за голяма част от процедурите) от ВУ/НО, АС), ПК и ЕГ на НАОА, се изисква поне 1,5 (=6/4) пъти повече работа. При запазване на досегашната организация се изисква 50-процентно увеличение на усилията и на кадровия състав на ЕГ и на НАОА.

ОСНОВНА ЦЕЛ: Редуциране на увеличения (1,5 пъти) обем дейности по процедурите за акредитация на НАОА и на свързаните с тях събиране, архивиране, обработване и разпространение на документи и данни за ВО, както и преодоляване (поне туширане) на субективния фактор в техния заключителен етап по формиране на оценки и препоръки.

За постигане на общата цел е необходимо да се създадат:

– общ модел на критериална система (КрС) и набор от първични данни, подходящи за постигане на основната цел, и

– дигитална среда (под формата на електронна платформа) за моделиране и провеждане на процедурите за оценка, акредитация и следакредитационно наблюдение и контрол (САНК) на НАОА.

Елементи на общия модел и на дигиталната среда ще изведем на база решения (с кратък коментар) на 10 (десет) основни проблема, пред които е изправена системата за оценяване и акредитация на българското ВО.

Пример 1. Сложността се заключава в многообразието (вж. фиг. 1.) на типовете процедури (относно първоначална или последваща акредитация; САНК; одобряване на предложения за разкриване/ползване и др.), на оценяваните обекти (конкретно ВУ; ПН/ СРП във ВУ; докторска програма – ДП, институционална среда за провеждане на електронно и дистанционно обучение – ЕДО; специалност в дистанционна форма на обучение – СДФО, и др.), на методиките за оценяване на обекти в различни периоди (конкретно ВУ в даден период; всички ВУ, провели обучение в конкретно ПН в предходен период, и др.), и т.н.

Решение 1. С цел да се осигури възможност за проектиране спектъра от КрС, на базата на общ модел на КрС, на първо място, е необходимо да се открият връзки и отношения, общи за елементите на различни акредитационни процедури. Системно решение (илюстрирано на фиг. 2) се базира на т.нар. „принцип на „инвариантност“, в основата на който стои хипотезата, че оценяването на множество от еднотипни образователни подобекти на даден обект може да се сведе до оценяване на:

– „инвариантна“ част на обекта (всички подобекти, разглеждани като едно цяло);

– специфични части на отделните подобекти, които не могат да се отнесат към тяхната обща „инвариантна“ част.

Пример 2. Българско ВУ е акредитирало ПН с 64 форми на обучение (9 бакалавърски и 12 магистърски специалности – всяка в редовна, задочна и дистанционна форма, и поне една докторска програма), а разполага само с 12 преподаватели, хабилитирани в същото ПН. Иначе казано, всеки хабилитиран

(в ПН) преподавател би трябвало да е в състояние не само да отговаря за обучението в поне 3,5 (<43/12) форми на обучение, но и самостоятелно „да покрива“ поне 70% от тяхното учебно съдържание“. Процедура за програмна акредитация би трябвало да идентифицира подобно явление и да не го узаконява.

Решение 2. Необходимо е КрС да включват количествени индикатори, стойностите на които се ползват само при формиране на изводи и/или препоръки например за:

– извеждане на експертни решения (задължителна препоръка; заключение „не се акредитира“; повишаване/намаляване на оценка в зависимост от други индикатори и т.н.). Примери за подобни количествени индикатори са „% лекционни курсове от учебния план на специалността, водени от хабилитирани преподаватели“, „% лекции, водени от хабилитирани преподаватели“, „брой преподаватели на основен трудов договор (ОТД)“, и т.н.;

– обективни експертни оценки (на капацитета на ВУ, ПН/СРП, докторска програма и др.; дали специалност/докторска програма се отнася към дадено ПН; достатъчни ли са количеството и квалификацията на преподавателския състав, за да осигури обучението, и т.н.).

Пример 3. За остойностяване на индикатор „Брой действащи студенти в дадено ПН на един преподавател на ОТД“ са необходими първични данни за „брой действащи студенти“ и „брой преподаватели“, но не е ясно: за кои моменти от акредитационния период се изискват (към момента по семестри, усреднено за периода и т.н.). Необходимо е да се уточни как ще се остойностяват „брой действащи студенти“ (ще зависи ли например от обстоятелството дали студентът е в редовна, задочна или дистанционна форма на обучение) и „брой преподаватели“ (ще зависи ли от заетостта на преподавателите – 1, ½ или ¼ по ОТД).

Решение 3. За решаване на проблема е необходимо да се определи спектърът от типове количествени индикатори (S_type), подходящи за оценяване качеството на българското ВО. На второ място, ако КрС е в основата на процедура за оценяване и акредитация на образователен обект (например на ВУ за обучение в дадено ПН), то всеки количествен индикатор N на КрС трябва да отговаря на следните условия:

– типът на N да е от S_type (Type(N) ∈ S_type);

– наборът {Val (N,t_i ):i=1,2,…,n} от стойности на N (към моменти на акредитационния период, характерни за тип Type(N) ):

– може да се достави (вкл. придружи с доказателства) под формата на самооценка на образователните обекти, акредитирани на база конкретната КрС; – валидността на набора от стойности и доказателства може да се обоснове под формата на оценка от независим експерт оценител.

Пример 4. Първични данни към различни КрС оценяват сходни аспекти на образователен обект/субект в различни моменти или периоди – например „брой публикации в реферирани издания за периода 2015 – 2020 г.“, „брой публикации в издания, реферирани в Scopus и Web of Science за 2021 г.“, и т.н.).

Решение 4. Естествено е да се използва една и съща първична информация (например – „брой публикации в издания, реферирани в Scopus и Web of Science“ по календарни години) за формиране на съответните количествени индикатори. Последното предполага КрС да са в термините на количествени данни, а тяхното „нормиране“ (трансформиране до количествени индикатори) да се отнесе към методиката на оценяване. С други думи, вм. „нормиран“ количествен индикатор „Средногодишен брой учебни дисциплини в ПН/СРП, изведени от чуждестранни гост-преподаватели“ е препоръчително в съответната КрС да се включи индикатор „Брой учебни дисциплини в ПН/СРП, изведени от чуждестранни гост-преподаватели“, а неговото остойностяване (на базата на първична информация/данни) и нормиране да се извършват в етапа на сравнително оценяване.

Като следствие, първичната информация (системата от първични данни), използвана за остойностяване на количествените индикатори, трябва да бъде добре обмислена в посока висока степен на преизползване на първичните данни, а количествените индикатори да не се разглеждат като същностни елементи на конкретна критериална система. Комплексният подход към разработване и дигитално моделиране и прилагане на критериални системи за оценяване на различни типове обекти изисква:

– наборът от количествени индикатори да е елемент на методиката за оценяване на съответния тип обекти (не на конкретната КрС);

– времевите стойности на първичните данни (първичната информация), на базата на които се формират стойностите на количествените индикатори, да се отнесат (заедно със съпътстващите документи и времеви таблици) към една и съща база от данни;

– стойността на индикатор в произволен момент да се формира на база стойности на първични данни, известни в конкретни времеви моменти (Kostadinova & Totkov 2023).

Пример 5. В посока разработване на специфичната част на КрС за конкретно ПН/СРП е подходящо към Стандарт 6. Материално-техническо и информационно осигуряване (освен критерий 6.1. Общо материално-техническо и информационно осигуряване) да се въведе критерий 6.2. Специализирано материално-техническо и информационно осигуряване, който да съдържа индикатори, специфични за даденото ПН/СРП. За целта ПК в съответната област на ВО (и група от експерти в ПН/СРП) могат да определят релевантни индикатори, подходящи за включване в 6.2. (а оттук – и в КрС за ПН).

Решение 5. Да се създадат специализирани критериални системи за програмна акредитация, състоящи се от обща („инвариантна“ за всички ПН/СРП) и специфична (ориентирана изключително към конкретно ПН/СРП) част. За целта е необходимо:

– да се идентифицира система от релевантни качествени и количествени индикатори, които са общи („инвариантни“) за всички специалности и СРП към дадено ПН;

– да се анализират наредбите за СРП към ПН с цел извличане на специфични индикатори (количествени и качествени), релевантни за всяка от СРП;

– специализираните КрС (и съответните процедури) да се базират на „инвариантния“ (за ПН, като цяло) и на „специфичния“ набор от индикатори.

Аналогичен подход може да се ползва и при изграждане на КрС за всички ПН в дадена област на ВО, което предполага идентифициране на инвариантни (за областта на ВО) и специфични (за различните ПН в областта) индикатори.

Пример 6. Актуализация се налага и в случаи, когато при прилагане на конкретна КрС в поредица от акредитационни процедури на НАОА се окаже, че:

– стойност на даден количествен индикатор не е подходяща за различаване на постиженията на съответните образователни обекти (например: всички са постигнали 100% успеваемост или имат нулеви индикатори);

– висок резултат на образователен обект (например – с „новаторски“ характер) дава основания за въвеждане на нов индикатор, който да е цел за други подобни обекти, в следващия акредитационен период, и др.

Решение 6. То е свързано с отказ от принципа на използване на статични (валидни за дълги периоди от време) КрС и със създаване и узаконяване на механизъм за тяхната динамична актуализация (в частност – в резултат от анализ на проведени процедури на НАОА). Вариант на решение е част от количествените индикатори да са относително неизменни (т.е. валидни за по-дълъг период), а други – динамични (с опция за възможна актуализация).

Ще отбележим, че в последния вариант на КрС за програмна акредитация на българските ВУ по ПН са въведени специфични качествени индикатори (т. нар. „новаторски практики“ по стандарти), експертните оценки на които са в основата на подход за създаване на нови индикатори.

Пример 7. Всяка докторска програми на ВУ и НО се оценява и акредитира, но за ВУ е необходима и програмна акредитация на съответното ПН. Аналогично – процедурата по САНК за прилагане на вътрешната система за оценяване и поддържане на качеството се отнася само за ВУ, но не и за НО.

Решение 7. Възможно е НАОА да възприеме практика – всяка НО с докторски програми в дадено ПН, да участва в общата (за българските ВУ) процедура за програмна акредитация на ПН и да получава (в сравнителен план) оценка за ПН (в случая – за своите докторски програми, като цяло). За целта е възможно създаване на:

– КрС за акредитация на ПН/СРП, която да позволява оценка (и акредитация) и на т. нар. „среда за провеждане на докторски програми в ПН“ и

– КрС, подходяща за акредитация на конкретна докторска програма, която да отчита, че съответната „среда за провеждане на докторски програми в ПН“ е оценена/акредитирана.

Пример 8. Известен е случай, когато в рамките на процедура за програмна акредитация на ПН с 21 СДФО в конкретно ВУ, се налага подготовка на 21 доклада самооценка и 21 доклада оценки, съпроводени с обосновани препоръки.

Решение 8. Силно редуциране на докладите (само)оценки в процедурите на НАОА за акредитация на СДФО чрез разработване и приемане на:

– КрС за акредитация на средата за провеждане на електронни и дистанционни форми на обучение;

– КрС за оценка на условията за провеждане на дистанционни форми на обучение в ПН;

– малко на брой, но значими количествени индикатори, които се (само) оценяват

– чрез форми самооценки и форми оценки за отделните СДФО;

– автоматизирани средства за оценка.

Пример 9. Оценки и препоръки – резултат на процедури за оценяване и акредитация, в някои случаи се формират не само субективно, но и по начин, който не предполага обективен мониторинг в следващата процедура за САНК (например препоръки от тип „да продължат усилията по …“, на практика, в следващ период, няма как да се оценят като неизпълнени). В случаи, когато мотивите за дадена препоръка са субективни или остават „зад кадър“ (не са обосновани в доклада оценка), самооценката на ВУ и оценката (на ПК за САНК) относно изпълнението на препоръката също могат да се окажат субективни. В тази посока ще отбележим и отсъствието на методики за:

– обективно формиране на препоръки в процедурата за програмна акредитация на дадено ПН едновременно за всички български ВУ;

– формиране на препоръки по отделни аспекти на оценяваните обекти (например институционалната акредитация на ВУ следва 3 стандарта на ESG – 1-ви, 5-и и 6-и, и няма възможност за препоръки в областта на останалите 7 стандарта).

Решение 9. Методика за автоматизирано формиране на препоръки (на база оценки на стойности на индикатори – „проблемни“ за дадено ВУ, в сравнение с останалите ВУ, участващи в същата процедура за програмна акредитация) е представена в (Kostadinova, Totkov & Atanassov 2022; Kostadinova & Totkov 2022) и е експериментирана при провеждане на процедура за програмна акредитация на ПН 6.1. Оценка на изпълнението на автоматизирано изведена препоръка може да се извърши чрез мониторинг на стойностите на „проблемния“ количествен индикатор в следакредитационния период. За решаване на проблема в случая на последваща институционална акредитация е достатъчно – освен автоматично формиране на обща акредитационна оценка (според ЗВО), автоматично да се формират оценки и за всеки от 10-те стандарта на ESG (отново като средно претеглена сума от последните оценки на всички ПН на ВУ по броя обучавани). По този начин е възможно ВУ да се сравняват по степен на съответствие с всеки от 10-те стандарта и на тази база да се формират (и по-късно, в процедури по САНК да се оценяват) съответни препоръки.

Забележка 1. Броят обучавани е средно претеглена сума от броя (редовни, задочни и дистанционни обучавани, но има варианти за съответните тегла – 1, 1 и 1; 1, ½ и 1/5, и т.н. ), както и за времевия момент, в който се оценява броят обучавани – акредитационен период, към момента, средногодишно и т.н. Следователно за формиране на институционална оценка (и прилагане на решение 9) е необходимо да се уточни на базата на кои варианти ще се определя броят обучавани в ПН.

Създаването на дигитална среда за обективно оценяване качеството на образованието за различни равнища и периоди на база сложни критериални системи (някои от тях с повече от 150 качествени и количествени индикатори) и при участие на стотици потребители е сложна задача (Gaftandzhieva, Totkov & Doneva 2020).

С проблема за дигитализация на системата за оценяване и акредитация на българското висше образование са свързани няколко момента. На първо място, това е отсъствие на национална нормативна уредба относно системите и данните в областта на образованието (спец. в посока избягване на дублиране и некоректност на данни, налагане на електронен вм. „хартиен“ обмен на информация и др.). В тази посока е необходимо създаване на национални стандарти, касаещи системите и процедурите за управление и оценка на качеството, като се регламентира и стартира процес за интегриране на данни и съответни облачни услуги за образованието. На второ място – това е необходимостта от електронизация на процедурите за управление и оценка на качеството в образованието с цел оптимизиране, повишаване на ефективността и елиминиране на субективния елемент при вземане на решения за оценки и препоръки, с осигуряване на тяхната прозрачност и публичност.

Решение 10. Необходимо условие за решаване на проблем 10 е – в критериалните системи и процедури, използвани за оценяване на различни образователни обекти, да се преизползват индикатори (качествени и количествени) и първични данни за тяхното остойностяване с цел намаляване на обема от дейности по тяхното събиране, описание и сравнително оценяване.

НАОА е призвана да решава проблема за дигитализация на процедурите за оценяване и акредитация на равнище „висше образование“. Първите експерименти с прототипи на софтуерна платформа (Totkov et al. 2014) за съпровождане на процедури за акредитация на ПУ, СУ и ЮЗУ са осъществени под наблюдението на НАОА още през 2012 г. и 2018 г.

В рамките на Меморандум за сътрудничество между НАОА и екип на Проект BG05M2OP001-1.002-0002 „Дигитализация на икономиката в среда на Големи данни (ДИГД)“ по Процедура BG05M2OP001-1.002 „Изграждане и развитие на центрове за компетентност“ на Оперативна програма „Наука и образование за интелигентен растеж“ 2014 – 2020 е разработен прототип на софтуерна платформа (Gaftandzhieva, Doneva & Totkov 2018; Totkov et al. 2020), в която са реализирани решения на някои проблеми 1 – 9. Освен това в прототипа могат да се моделират различни критериални системи, да се инициират и провеждат съответни акредитационни процедури, както и да се експериментират методики за автоматизирано оценяване и формиране на препоръки. Основни функционални възможности на бъдеща електронна платформа на НАОА (част от тях са осигурени и в прототипа) са:

– компютърно моделиране на критериалните системи на НАОА и на съответните количествени индикатори, формирани от базови първични данни;

– управление във времето на общ набор (система) от първични данни на НАОА за българското висше образование;

– динамичен мониторинг на образователни обекти на база времеви първични данни;

– отдалечено провеждане на акредитационни процедури (вкл. автоматизирано изготвянето на доклади самооценки, доклади оценки и приложения към тях);

– средства за импорт/експорт на данни от/към бази с данни за висшето образование, и др.

REFERENSES

GAFTANDZHIEVA, S.; DONEVA, R.; TOTKOV, G., 2018. Dynamic Quality Evaluation in Higher Education. TEM Journal, vol.7, no. 3. pp. 526 – 542.

GAFTANDZHIEVA, S.; DONEVA, R. & TOTKOV, G., 2020. Quality Evaluation in Higher Education: Dynamic Data Accu-mulation and Aggregation. International Journal of Scientific & Technology Research, vol.9, no. 2, pp. 3275 – 3279.

GAFTANDZHIEVA, S.; TOTKOV, G.; DONEVA, R., 2020. ELearning Quality Evaluation (University Good Practices). Plovdiv: Paisii Hilendarski. ISBN 978-6-19-202538-0 (in Bulgarian).

KOSTADINOVA, H.; TOTKOV, G., 2022. Complex Assessment of Similar Objects in the European Higher Education Area, EDULEARN22 (14th Annual International Conference on Education and New Learning Technologies), 4th-6th of July 2022.

KOSTADINOVA, H.; TOTKOV, G.; ATANASSOV, S., 2022. Automatized SWOT Analysis of the Quality Level in High-er Education Institutions. Proceedings of the 15th International Conference Education and Research in the In-formation Society, Plovdiv, Bulgaria, October 13 – 14, pp.50 – 58.

KOSTADINOVA, H.; TOTKOV, G., 2023. Automatized Congruence of Reviewers' Assessments and Raw Data for Educa-tional Objects in Comparative Quality Evaluation. EDULEARN23 (15th annual International Conference on Educa-tion and New Learning Technologies), 4th – 5th of July (in print).

TOTKOV, G.; GAFTANDZHIEVA, S.; PASHEV, G.; ATANASSOV, S., 2020. A System for Modelling of Processes for Data Accumulation and Synthesis in Higher Education. TEM Journal, vol.9, no. 4, pp. 1619 – 1624.

TOTKOV, G. et. al. 2014. Introduction to E-learning. Plovdiv: Rakursi (in Bulgarian). ISBN 978-954-8852-41-8.