Образование за устойчиво развитие
КЪМ ВЪПРОСА ЗА СИСТЕМА ЗА ОЦЕНЯВАНЕ НА НАУЧНИТЕ ИЗСЛЕДВАНИЯ ВЪВ ВИСШИ УЧИЛИЩА И НАУЧНИ ИНСТИТУЦИИ В БЪЛГАРИЯ
Резюме. Статията е посветена на проблемите на обективното наблюдение и точното оценяване на научноизследователската и художественотворческата дейност, осъществявана от висшите училища и научните организации в България. Въз основа на задълбочен анализ на настоящата система са изведени основни изисквания за постигане на качествено нов подход, основан на следните цели: формиране на политика в областта на научните изследвания, която да допринесе за постигането на качествени и конкурентни резултати съобразно Националната стратегия за развитие на научните изследвания и европейските рамкови програми; социално-икономическо въздействие на резултатите и ползите от тях; възможност за създаване на учени от ново поколение; развитие на научните институции като равностойни партньори в европейското и световното научно пространство. Статията се базира на редица официални документи, дадени в приложение. Направено е конкретно предложение за система за обективно и точно оценяване на научноизследователската и художественотворческата дейност с набор от показатели и тегла за получаване на оценката, както и за методология за внедряването ѝ. Предлаганата система за оценка и правилата за финансиране на изследователските звена на базата на получената оценка цели опростяване и прозрачност на процедурата.
Ключови думи: estimation of scientific organizations; National scientific strategy, methodology of science
I. Въведение
Иновативно ориентираните икономики1) се характеризират с висока ефективност на използване на талантите си и с високо равнище на колабориране между университети и индустрия в областта на научноизследователската дейност. България все още не използва своите таланти в достатъчна степен, за което говори незавидното 119 място от 137 икономики по показателя „изтичане на мозъци“ (приложения П1, П2). Превръщането на нашата страна в иновативно ориентирана икономика изисква целенасочена национална политика в областта на висшето образование и научните изследвания и иновации (НИИ).
Основният проблем на системата на НИИ в България е изключително ниското ниво на инвестиции в сравнение с европейските държави (приложение П1). Но това е по-скоро политически проблем, чието решаване е извън възможностите на работещите в системата на НИИ. Те обаче са в състояние да инициират по-справедливо, обективно и прозрачно разпределение на средствата, отделени от държавата за НИИ.
Настоящият модел за финансиране на научните изследвания в българските висши училища и изследователски институции (приложения П3, П4) не е прозрачен и достатъчно ефективен. Необходима е промяна в системата на финансиране на научните изследвания и иновации с цел повишаване на тяхната ефективност и качество, която да доведе и до по-дълбока интеграция на нашия научноизследователски потенциал в европейските и международните общности и политики (приложения П5 – П7).
За целта трябва да се въведат точни количествени показатели и проста формула за оценка на НИИ на научнообразователните и изследователските структури в България, а данните, на които се основава оценката на резултатите от тяхната научноизследователска и/или художественотворческа дейност, да бъдат общодостъпни, за да се гарантират прозрачност и обективност. Необходима е не само стратегия, а и методология и технология за нейното прилагане, чийто фокус трябва да е насочен към синхронизиране на пазарните потребности от квалифициран и професионално подготвен потенциал с развитието и прилагането на система за НИИ. Това може да бъде постигнато само чрез целенасочена и финансово обезпечена дългосрочна/визионерска политика.
II. Проблеми на настоящото състояние на НИИ
За да се търси усъвършенстване на стратегията за финансиране на НИИ, е необходимо да се маркират основните проблеми на системата на настоящия етап.
1. Морфология на научните институции
В публичното пространство често се застъпва тезата за прекалена фрагментация на научните институции в България. Тя кристализира в доклада на проф. Соте от октомври 2017 г. (приложение П1), според който в България е налице критично ниво на фрагментация на системата на НИИ, което води и до ниско ниво на публично финансиране. В този доклад се визира съществуването на повече от 50 университета (висши училища), над 54 института (лаборатории и центрове) в Българската академия на науките (БАН), 25 института на Селскостопанската академия (СА) и значителен брой други държавни изследователски институции, свързани с различни секторни министерства или агенции (правителствени лаборатории).
Когато обаче се прави такава констатация, трябва да се има предвид, че университетите не са чисто изследователски институции, а по-скоро образователни, които обаче провеждат и научни изследвания в голям брой научни направления (приложение П9).Държавните агенции и лаборатории също не са изследователски, а приложни звена. Едва ли някой очаква научни изследвания и резултати например от Държавната агенция по храните или Института по стандартизация. Затова тези структури ще бъдат изключени от последващия анализ.
Евентуална консолидация би насочила финансирането до концентриране на средства в определени научни направления и намаляване (дори спиране) на работата в останалите. Това ще има негативно отражение както върху науката, така и върху качеството на учебния процес във висшите училища (ВУ). За разлика от някои държави, в които обучението на висококвалифицирани специалисти е съсредоточено в малко на брой университети гиганти, в нашата страна по традиция то се реализира в относително много на брой, но малки университети, повечето от които са специализирани в различни области. Макар че повечето ВУ са в столицата, останалите са сравнително добре разпределени по територията на страната (фиг. 1). Това осигурява равен достъп до висше образование за населението от всички региони.
Фигура 1. Местоположение на ВУ
В структурата на БАН има 43 научни института, обособени в десет научни фундаментални и приложни направления, 14 централни лаборатории, научни центрове (в т.ч. и център за обучение на докторанти, ученически институт при БАН), музеи, регионални ценрове и пет специализирани академични звена.
Важно е да се отбележи фактът, че в резултат на действащата през годините система за финансиране на научните изследвания в университетите у нас са постигнати значими научни резултати в областта на природните, техническите, хуманитарните, социалните и аграрните науки. Благодарение на това, академичният състав във ВУ непрекъснато се развива и осъществява висококачествен учебен процес, основан на актуални научни изследвания. Понастоящем (с последната промяна на ЗВО) някои научни звена и лаборатории във ВУ с опит, потенциал и оборудване имат възможност да се преобразуват в научноизследователски институти, каквато е и световната практика.
Но дейността на ВУ в България през последното десетилетие е подложена на огромно изпитание и предизвикателства поради нарастващата експанзия на висшето образование, обусловена от глобализацията на образователните пазари. Експанзията към нови пазарно-продуктови сегменти води до хетерогенност на потребителите на образователни услуги и диверсификация на предлаганите услуги. Това е свързано с двете основни тенденции на развитие на висшето образование в Европейското пазарно пространство (приложение П11). На първо място, нарастващата диверсификация на висшето образование и последващата диверсификация на висшите училища (ВУ) водят до диверсификация на мисията, профила и стратегията на обучението. Според доклада на проф. Соте тази тенденция е доведена до крайност в България и за преодоляването ѝ се предлага структурна реформа (приложение П1). На второ място, конкуренцията се превръща в основен драйвер на пазара на висшето образование и НИИ. Университетите и научните институти все по-интензивно се конкурират за фондове, студенти и репутация. В тази среда доказаното качество е ключов фактор за тяхното конкурентно предимство.
Вече години наред нашата държава се опитва да направи единна рамка на индикаторите за научна дейност (приложения П10 – П17). Тя обаче страда от някои сериозни недостатъци. Пример за това са академиите по изкуствата, чиято основна дейност е художествено-творческата (концерти, спектакли, изложби, рецитали), която не се подчинява на наукометрични показатели. От друга страна, това образование е важно за изграждане на културни традиции. Политиките на Европейската комисия отчитат, че културата има значим принос за повишаване на конкурентоспособността и заетостта. Така например в „Зелена книга за отключване потенциала на културните и творческите индустрии“ на Европейската комисия се набляга на факта, че в областта на културните и творческите индустрии има значителен неизползван потенциал за създаване на растеж и работни места, като самите те могат реално да допринесат за изпълнението на стратегията „Европа 2020“ (приложение П11). Трите национални академии по изкуствата в България създават така необходимите за държавата творчески индустрии, характеризиращи се с производство на висококачествени и високо технологични продукти. Те могат да стимулират потреблението, да съдействат за развитието и насърчаването на българската култура и да способстват за по-нататъшно утвърждаване на националната идентичност.
Друг фактор, който следва да се отчита, при разглеждането на мрежата от начноизследователски институции, е, че поради бързото развитие на технологиите в последните години става радикално изменение на висшето образование и науката в резултат на глобализацията и технологичното развитие, които налагат промяна в образователните парадигми. Това изисква обучението в университетите да носи белезите на овладени върхови постижения в областта на теорията и практиката на съответната научна област. За целта е необходима действителна и ефективна интеграция между университетите и научните институти на БАН. Засега тази интеграция се реализира основно в научните изследвания и много малко в обучението, което е основен недостатък на сегашната система. Професионализмът на учените от БАН трябва да бъде използван ефективно в обучението на бакалаври и магистри, например в избираемите и факултативните дисциплини, в летните практики, ръководството на дипломанти и др. Това ще означава студентите в университетите да имат контакт с по-широк кръг специалисти и знания в определена научна област, което ще ги обогати и мотивира за реализация в България. Следователно обучението следва да не е пожелателна, а задължителна дейност за учените от институтите на БАН (например 60 ч. годишно). Реципрочно следва да се въведат минимални изисквания за научна дейност на преподавателите в университетите, като се намали поне с една трета огромната им учебна натовареност в момента, достигаща дори до тази на учителите.
2. Връзка на науката с бизнеса
Връзката между науката и бизнеса в България е твърде слаба в сравнение със страните от ЕС. А тя е необходима за подготовката на висококвалифицирани специалисти с висше образование, от които бизнесът има нужда. От друга страна, взаимодействието на бизнеса с научните центрове и лаборатории формулира задачи за научноприложни изследвания.
Въпреки осъзнаването на необходимостта от тясна връзка на науката с бизнеса досега с никакви констатации, закони и стратегии (приложения П10 – П17) този проблем не можеше да започне да се преодолява, тъй като бе неглижиран от бизнеса и съответно не получи никакво решение. Буквално в последните една-две години в България обаче се усети липса на работна ръка в почти всички сфери на производството и услугите, като особено сериозен е недостигът на висококвалифицирани специалисти. Това неминуемо ще доведе по естествен начин не само до по-добро заплащане на наемния труд, но и до инвестиции на бизнеса в обучение, научни и научноприложни изследвания, каквато е световната практика.
3. Диференцирана оценка на научноизследователските институции
В България има два типа научни структури: институти на БАН и университети. Те имат различни мисии и дейности. За институтите на БАН основната дейност е научноизследователската, а за университетите – учебната. Но открай време критериите за оценка на ефективността на НИИ, както и критериите за научно израстване на кадрите, са еднакви за двата типа научни структури (приложение П17), което създава неравнопоставеност при оценяване на НИИ.
На първо място, това е абсолютно несправедливо, тъй като, ако преподавател в университет не изпълни годишната си учебна натовареност, той губи работата си, но ако учен от БАН няма никаква публикация през годината, това остава без сериозно последствие. Абсурдно е да се очаква еднаква по количество научна продукция от учен от БАН и от преподавател във ВУ, за когото поне 50% от времето е посветено на учебна и административна дейност.
На второ място, при кариерно израстване на преподавател от университет задължително се изисква освен учебна да има също и научна и административна дейност. При това, количествените показатели за научна дейност са същите както за съответните институти на БАН. В същото време, учен от БАН може да се хабилитира само с научна дейност, без никакви други изисквания. Същият парадокс, какъвто е налице за отделните работещи, съществува и при акредитации за целите институции.
На трето място, неравнопоставеност между двата типа институции създава и различното финансиране на НИИ на младите учени. Докато БАН извоюва в бюджета си средства за финансиране на вътрешни проекти на млади учени на суми от 8000 лв., за младите асистенти от ВУ няма такава възможност. Това представлява дискриминация в ущърб на университетите, в които все по-трудно се реализират конкурсите за асистенти.
На четвърто място, неравнопоставеност между двата типа структури съществува по отношение на докторантите. В университетите незащитилите в срок докторанти не могат да останат в институцията, докато в институтите на БАН те ползват удължения на срока, а след него като правило остават на щат независимо дали са защитили своя докторат.
Тези констатации показват, че в бъдещата система за оценяване на НИИ трябва да има коефициент, който да отчита типа на научната институция.
III. Идеология и технология на оценяването на НИИ
В момента за оценка на научноизследователската и художественотворческата дейност (а оттам и за финансирането на съответните звена) се използват основно критерии, свързани с библиометрични показатели (приложения П3, П4). Такива са и международните стандарти. Но за голяма част от академичните и научните среди сегашната формула за оценка е прекалено сложна, макар че точно тази дълга формула води до обективна оценка, тъй като отчита много детайли и страни на НИИ. Но най-големият проблем на сегашната система за оценяване е невъзможността за проследимост на основанията за оценка и достъпа до базовата фактология за нея, както и слабата обвързаност на финансирането на НИИ с оценката за тях.
Например съгласно официалния рейтинг на звената по научни резултати за 2016 г. (приложение П18) в направление „Физически науки“ три структури са класифицирани като елитни, като една от тях е Университет „Проф. д-р Асен Златаров“ – Бургас. В същото време, Софийският университет е класиран в четвърта група. Но проверката в сайта на Бургаския университет показва, че за 2016 г. в направление „Физически науки“ има само една статия с импактранг и нито една с импакт-фактор. Остава въпросът как е получена оценката за елитни резултати на държавния университет в Бургас, когато има десетки институти и университети с повече и по-престижни статии.
Досегашната скромна практика в България за оценка на научноизследователската и художественотворческата дейност насочва към търсене на по-малък брой и по-равностойни показатели, и най-вече до създаване на свободен достъп до информацията, на която се базира оценката. Въпреки че в момента в българската академична и научна общност (особено в хуманитарните среди) съществува все още негативно отношение към критерия за качество на публикациите, дефинирано с международни стандарти на IF и SJR на научните издания, няма измислен по-обективен критерий, признат от всички научни институции в света. Що се отнася до h-индекса, който се отчита в момента (П4), има сериозни аргументи срещу включването му в оценката на НИИ, най-важният от които е, че той зависи от възрастта. Това означава, че h-индексът създава дискриминация на учените по възраст и следователно той трябва да отпадне от системата за оценяване на НИИ.
При оценката на НИИ трябва да се отчита спецификата на отделните научни направления, като се въведат групи науки и се конкретизират показателите за всяка група. За целта може да се използва детайлно разработената и апробирана система на Полша (приложения П21 – П24).
Важен елемент от системата за оценяване на НИИ е периодичността на провеждане на оценката. Тъй като оценката на IF и SJR на списанията ежегодно се изменя, е целесъобразно оценката на НИИ да се прави на 3 години. Това ще изглади големите годишни флуктуации на публикационната дейност.
Въпросът за институцията, която да провежда оценяването, е без особено значение. Ако се разработят обективни и точни количествени критерии за оценка, които да бъдат лесно проверими и съответстват на международните стандарти, няма нужда от непрекъсната международна експертиза. Фактологията трябва да се внася в електронни таблици или уеббазирани формуляри, което позволява оценката да се изчислява автоматично. При такава технология лесно ще може да се получава и проверка от международни експерти при необходимост.
Този подход ще гарантира прозрачност на процедурата за оценка на научните изследвания и достъп на заинтересованите до основанията за оценка на всички научни институции.
За да се реализират прозрачност, обективност и липса на дискриминация, системата за оценяване на НИИ трябва да отговаря на следните изисквания.
1. Всички наукометрични показатели да бъдат отнесени за 1 преподавател/ учен от съответната научна област (на първи основен договор) и за период от 3 години.
2. Всички критерии да са количествено измерими по показатели, които са публично достъпни за научните институции, които получават оценки за НИИ.
3. Системата за оценки да е с възможно най-близки показатели за всички научни области, но да бъде диференцирана.
Предлагаме научните направления да бъдат систематизирани в следните 6 групи:
– Хуманитарни, социални, стопански науки, право;
– Природни науки, математика и информатика;
– Технологични и инженерни науки;
– Аграрни науки и ветеринарна медицина;
– Здравеопазване и спорт;
– Науки на изкуствата.
4. Притежаването на уникално оборудване е необходимо условие за изследване в някои области. Това трябва да се отчита, тъй като за неговото функциониране са необходими допълнителни средства за консумативи, издръжка и технически щат.
5. За да се избегне неравнопоставеността между двата типа научни структури, е необходимо да се въведе коефициент за тип на научното звено к (университет или научен институт). Например за университетите коефициентът да е 1, а за институтите на БАН – 0.5.
6. Важен показател за нивото и ефективността на НИИ на дадено звено е броят защитили докторанти.
7. Теглата на показателите да са определени по такъв начин, че оценките по отделните критерии да бъдат съизмерими.
8. Оценяването да става едновременно за всички звена и по всички научни направления в страната.
По-долу предлагаме една възможна система от показатели и техните тегла за оценка на НИИ на изследователските структури. Тази таблица за оценка трябва да се придружава с приложения по всеки показател, които да съдържат списъци с фактологични данни и съответните линкове за доказателство.
Таблица 1. Проектосистема от показатели за оценка на НИИ на изследователските структури
Списъкът с възможните показатели и техните тегла трябва да се разработи от комисии от експерти от различните групи науки, които да се назначат от МОН. Същите комисии могат да разработят и национални критерии за академично израстване. Комисиите трябва да конкретизират съдържанието на показателите (да ги операционализират) и да определят техните тегла за различните групи науки, използвайки и чуждестранния опит (напр. системата в Полша, приложения П21 – П24). Препоръката за диференциация може да се реализира, като например за хуманитарните науки по критерий 2 може да се направи списък на списания от точно определени вторични бази данни (ERIH PLUS, Copernicus), които са с доказано анонимно рецензиране.
IV. Внедряване на правилата за финансиране на изследовател ските звена на базата на получената оценка
Финансирането на НИИ в дадена област и институция трябва да е пряко свързано с оценката ѝ. За внедряването на тази система трябва да се разработят и приемат основни правила. Например:
1. да има минимален праг за финансиране на научна област в дадено научно звено или университет, например 60;
2. в областите под определения праг висшите училища не получават финансиране за НИИ, но могат да провеждат обучение в образователно-квалификационна степен „Бакалавър“;
3. да се въведе минимален праг за научни постижения за всеки представител (учен от БАН или преподавател във ВУ) на звено, което има държавно финансиране за НИИ (например 1 статия с импакт фактор или ранг годишно).
4. Обективни източници на информация за системата са:
– световни научни бази данни SCOPUS, WEB of SCIENCE, ERIH PLUS;
– национални бази данни – МОН, НАОА, Фонд „НИ“, НСИ, „Евростат“, Патентно ведомство;
– Регистър на научната дейност в РБ.
5. Показателите да предоставят обективно проверяема информация, за да има достоверност на получените резултати от оценката.
6. Системите от показатели следва да се апробират и актуализират, съобразно констатираните несъвършенства.
Заключение
Основните принципи за оценка на научната дейност на университети и научни организации следва да бъдат: (1) Количествена оценка, основана на върхови научни постижения (публикации и патенти) с международна и национална значимост, възпроизводство на млади учени (брой докторанти), научни инфраструктури с национално и европейско значение; привлечени средства за научни изследвания и иновации от национални (индустрия, интелектуална собственост) и европейски (рамкови програми, структурни фондове) източници; (2) Качествена експертна оценка, основана на резултати, свързани с по-литики и въздействието им върху икономиката и обществото.
В контекста на развиващата се икономика на знанието, държавата трябва да заеме ключова роля за висшето образование и университетите като стратегически участници в националното и регионалното икономическо развитие от гледна точка на техния потенциал за повишаване на знанията и подобряване на уменията на работната сила и приноса им към развитието на иновациите чрез технологичен трансфер.
Държавната политика трябва да държи сметка за баланса между обучението на висококвалифицирани кадри и научните изследвания, както и за разумното съотно шение при финансирането на научноприложните и фундаменталните изследвания. Тя трябва да стимулира сериозно и създаването на интегрални структури между ВУ и институти на БАН. Като положителен пример могат да се ползват изградените консорциуми по Националната пътна карта за научна инфраструктура (приложения П19 – П20). Те позволяват не само ефективно използване на уникално оборудване, но и високо ниво на обучение на млади специалисти.
Внедряването на системата за оценка на НИИ и финансирането, основано на резултатите, изискват насочване на публични ресурси към онези екипи и звена, където се развиват научни изследвания на ниво, съпоставимо с международните стандарти. Това ще доведе до издигане престижа на науката в практиката, обществото и обективна защита на вложените в нея средства.
В университетските среди има експертен потенциал и административен опит, който следва да се използва за детайлното разработване на системата за оценка на научноизследователската и художественотворческата дейност, както и за внедряване на правилата за финансиране на изследователските звена на базата на получената оценка.
Приложение (списък документи)
П1. Независима експертна оценка на българската система за научни изследвания и иновации, Доклад от партньорската проверка на националната система „Наука – иновации“ по инструмента Policy Support Facility (PSF) към Европейската рамкова програма за научни изследвания и иновации „Хоризонт 2020“, Люк Соте и др., 2017.
П2. Световна банка, Укрепване на висшето образование в България: Варианти за подобряване на моделите на управление, контрола на качеството и финансирането на висшето образование, 2012.
П3. Постановление №328 на МС от 30.11.2015 г. за определяне на средствата от държавния бюджет за издръжка на обучението в държавните висши училища в зависимост от комплексна оценка за качеството на обучението и съответствието му с потребностите на пазара на труда (ДВ, бр. 94 от 04.12.2015 г., в сила от 01.01.2016 г.)
П4. Правилник за наблюдение и оценка на научноизследователската дейност, осъществявана от висшите училища и научните организаии, както и на дейността на Фонд „Научни изследвания“ https://www.lex.bg/en/laws/ ldoc/2136621817
П5. Рамкова програма на ЕС за научни изследвания и иновации „Хоризонт 2020“, 05.12.2014.
П6. Европейска квалификационна рамка за учене през целия живот (ЕКР); https://www.mon.bg/?go=page&pageId=74&subpageId=143
П7. „Нови умения – за нови работни места. Изпреварващо предвиждане на потребностите на пазара на труда и осигуряване на съответстващи на тях умения“, Съобщение на Комисията до Европейския парламент, Съвета, Европейския икономически и социален комитет и Комитета на регионите.
П8. Стратегия за развитие на висшето образование в Република България 2014 – 2020 г. (Държавен вестник, брой 18 от 10 март 2015).
П9. Национална стратегия за развитие на научните изследвания в Република България 2017 – 2030 г. (ДВ, бр. 47 от 13.06.2017 г. Приета с Решение на НС от 07.06.2017 г.).
П10. Национална стратегия за развитие на научните изследвания 2020 (брой 62 от 12.08.2011 г. на „Държавен вестник“).
П11. Стратегия за интелигентен, устойчив и приобщаващ растеж „Европа 2020“ https://www.mon.bg/?go=page&pageId=74&subpageId=143
П12. Иновационна стратегия за интелигентна специализация 2014 – 2020 година https://www.mi.government.bg/bg/themes/inovacionnastrategiya-za-inteligentna-specializaciya-na-republika-balgariya-2014-2020-g-iproces-na-i-1470-287.html
П13. Закон за насърчаване на научните изследвания (ДВ, бр. 92 от 17.10.2003 г., ..., изм., бр. 58 от 18.07.2017 г., в сила от 18.07.2017 г.).
П14. Правила за дейността на националната контактна мрежа и представителите в Програмните комитети на Рамковата програма на Европейския съюз за научни изследвания и иновации „Хоризонт 2020“ (2014 – 2020 г.).
П15. Постановление № 237 на МС от 23.10.2017 г. за създаване на Изпълнителна агенция „Оперативна програма „Наука и образование за интелигентен растеж“ и за приемане на Устройствен правилник на Изпълнителна агенция „Оперативна програма „Наука и образование за интелигентен растеж“ https://www.mon.bg/?go=page&pageId=7&subpageId=58
П16. Стратегия за ефективно прилагане на информационни и комуникационни технологии в образованието и науката на Република България (2014 – 2020 г.), приета с Протокол № 27.1 на Министерския съвет от 02.07.2014 г.
П17. Закон за развитието на академичния състав в Република България (Обн. – ДВ, бр. 38 от 21.05.2010 г.; изм., бр. 81 от 15.10.2010 г. – Решение № 11 от 05.10.2010 г. на КС на РБ по к.д. № 13/2010 г.; изм. и доп., бр. 101 от 28.12.2010 г.).
П18. Рейтинг на институциите по научни резултати за 2016, доклад МОН.
П19. Национална пътна карта за научна инфраструктура (2017 – 2023 г.), приета с Решение № 354 от 29 юни 2017 година на Министерския съвет.
П20. Резултати от диагностичния преглед на научната инфраструктура и оборудване в Република България https://www.mon.bg/?go=page&pageId=4&subpageId=53 П21. Rozporządzenie ministra nauki i szkolnictwa wyższego, Warszawa, dnia 27 grudnia 2016 r. Poz. 2154.
П22. Część b wykazu czasopism naukowych czasopisma naukowe nieposiadające współczynnika wpływu impact factor (if) wraz z liczbą punktów przyznawanych za publikację w tych czasopismach.
П23. Część a wykazu czasopism naukowych czasopisma naukowe posiadające współczynnik wpływu impact factor (if), znajdujące się w bazie journal citation reports (jcr) wraz z liczbą punktów przyznawanych za publikację w tych czasopismach.
П24. Część c wykazu czasopism naukowych czasopisma naukowe znajdujące się w bazie european reference index for the humanities (erih) wraz z liczbą punktów przyznawanych za publikację w tych czasopismach.
NOTES / БЕЛЕЖКИ
1. Според класификацията на Световния икономически форум тези икономики се намират в етап 3 от своето развитие. Според същата класификация България се намира в етап 2 от своето развитие.