https://doi.org/10.53656/ped2022-8.02

Резюме. Целта на настоящия текст е да се откроят основните дискусионни въпроси, свързани с е-оценяването, и в частност с е-оценяването, подпомагащо/ ориентирано към ученето, и на тази основа да се очертаят предизвикателствата пред практиката и изследванията в това поле. Защитава се тезата, че е-оценяването не е различен феномен от оценяването в присъствена форма на учещите и технологичните особености не са определящи, а контекстни. В този смисъл те задават особеностите и характеристиките на оценяването, а не определят неговата същност. От тази позиция се твърди, че доколкото методологическите основания на електронното обучение се търсят в полето на конструктивизма и конективизма, следва да се разработи и адекватна на тази методология концепция за оценяване. Едва такава възможност е подпомагащо/ ориентирано към ученето е-оценяване.

Ключови думи: е-оценяване; подпомагащо/ориентирано към ученето е-оценяване

Е-оценяването в образованието, и в частност във висшето образование, доби своята актуалност още с широкото навлизане на информационните и комуникационните технологии. Значителна по обем научна литература в последните години бе посветена на предимствата, практиката и предизвикателствата на е-оценяването (Guerogieva 2018; Yovkova 2020; Alruwais, Wills, Wald 2018; Appiah et al. 2018; Crisp 2007, Gómez, Quesada-Serra, Ibarra-Sáiz 2014; Palloff, Pratt 2009) и на изследванията, свързани с тяхното преодоляване и развитие (Yovkova 2020; Mellar, Peytcheva-Forsyth, Kocdar, Karadeniz, Yovkova 2018; Peytcheva-Forsyth, Aleksieva, Yovkova 2018a.; Peytcheva-Forsyth, Aleksieva, Yovkova 2018b). В същото време, в условията на пандемията е-оценяването се превърна в толкова модерен проблем, че привлече интереса на различни специалисти, и най-вече експерти в областта на технологиите, които нямат педагогическа подготовка и мислене. Стигна се до парадоксална ситуация – сериозен напредък по посока преодоляването на много предизвикателства, произтичащи от спецификата на средата, на фона на абсолютно неприемливи интерпретации на е-оценяването като „автоматизирани отговори“ на предварително конструирани въпроси и създаването на спорни по своето качество практики.

Днес се признава, че подобни интерпретации имат ограничения и се подлагат на критика. Заговори се и за т.нар. подпомагащо/ориентирано към ученето е-оценяване (Gómez, Quesada-Serra, Ibarra-Sáiz 2014), но въпреки това няма изградена цялостна, непротиворечива и общоприета концепция. Вероятно все по-ясно се осъзнава, че е-оценяването не е различен феномен от оценяването в присъствена форма на учещите и технологичните особености не са определящи, а контекстни. В този смисъл те задават спецификите и характеристиките на оценяването, а не определят неговата същност.

Казаното по никакъв начин не означава да се подценяват или неглижират технологичните особености на средата. Всеки проблем в това поле несъмнено има технологични и педагогически/дидактически аспекти и конкретните решения имат своите методологични основания. Неслучайно днес единодушно се признава, че спецификата на средата създава както съвършено нови и необходими предимства, така и множество предизвикателства, преодоляването на които предполага сериозни научни дискусии и изследвания. В настоящото разбиране това е възможно само при постигнат научен консенсус относно същността, методологичните основания, характеристиките, функциите и спецификите на е-оценяването и преосмислянето на начина на неговото осъществяване по посока на развитие на учещите.

Целта на настоящия текст е да се очертаят основните дискусионни въпроси, свързани с е-оценяването – и в частност с е-оценяването, подпомагащо/ ориентирано към ученето, и на тази основа да се очертаят предизвикателствата пред практиката и изследванията в това поле.

Е-оценяването и подпомагащото ученето е-оценяване – дискусионни въпроси

В настоящото разбиране голяма част от дискусионните въпроси произтичат от факта, че в желанието да се определи е-оценяването като специфичен феномен, акцент се поставя само върху технологичната среда, в която се осъществява, а не върху неговата същност, характеристики и методологични основания. Този подход води до извеждане на преден план на технологичните аспекти на проблем, който е педагогически по своята същност и технологичен по своята реализация. По този начин се очертава картина, в която усилията са насочени да се преодолеят предимно предизвикателствата, произтичащи от използването на технологиите, като се подценяват противоречията и затрудненията, които съществуват при всяко оценяване.

Какви са основанията за тези твърдения?

В относително дълъг период опитите в англоезичната литература да се определи спецификата на е-оценяването, се свързваха с включването на лаптопи, смартфони, таблети, телефони и други устройства в създаването, съхраняването и съобщаването на оценките (Appiah et al. 2018). В научната литература и до днес, вкл. и у нас, често се цитира тезата, че „е-оценяването може да се дефинира като „електронни процеси на оценяване открай докрай“ (Appiah et al. 2018). Безспорно подобен начин на мислене обяснява определението електронно, като насочва вниманието към „изпълнението“ на етапите на оценяването, но е повече от спорно, че определя неговата същност.

В настоящото разбиране (Delibaltova 2002), без значение в каква среда се реализира оценяването, то следва да се разглежда като аналитичен процес, представен като „разсъждение, основано на доказателства“11). Същността на възприетата и разглеждана концепция съдържа три ключови елемента – по-знание, наблюдение и интерпретация, които в своята последователност гарантират реализацията на всички необходими условия за качествена оценка. Познанието предполага ясно и пълно определяне на това, което ще се оценява, наблюдението – ситуациите, в които това е възможно, а интерпретацията – съотнасяне на резултатите спрямо някаква скала за оценка. Така се стига до изключително ценното разграничение между данни и доказателства, което се прави в тази концепция. То произтича от описания по-горе модел – доказателства са не всички данни, а само получените в ситуации, предварително определени като подходящи за формулирането на обосновани изводи за знанията и уменията/компетенциите на оценявания. С това тази интерпретация напълно се вписва в съвременното схващане за разграничаване на термини като assessment и testing. Тестът е само един от възможните източници на информация, необходима при оценяването.

Същата теза за същността на оценяването може да се открие и у G. Crisp (2007), който твърди, че въпреки, че идеята на J. Pelegrino, N. Chudowsky, R. Glaser е разработена по отношение на оценяването в училище, тя е приложима във всички случаи на оценяване на ученето, в това число и по отношение на е-оценяването.

Ако разсъжденията продължат по посока на отграничаване на е-оценяването от тестирането, трябва да признаем, че тезата за несъстоятелността на синонимната употреба на оценяване и тестиране не е нова. Тя е защитена още през 1999 г. в друг доклад на National Research Council2) с аргументи по посока на новото разбиране как хората учат, и произтичащата от него реконцептуализация на оценяването. Очертава се ясно акцент върху формиращото оценяване, насочено към вземане на управленски решения по посока развитието на учещия и подпомагане на ученето.

На базата на тези основания могат да се търсят няколко проекции върху е-оценяването и налаганите идеи за него както по отношение на същността му, така и по отношение на разбирането за начина, по който трябва да се реализират различните стратегии.

На първо място, днес интерпретацията на е-оценяването като автоматизирани отговори на предварително конструирани въпроси, изглежда напълно неприемлива поне по две причини. От една страна, такова разбиране поставя знак на равенство между оценяване и тестиране, а от друга страна, често това, което се предлага в е-формат, не отговаря дори на изискванията за тестиране. Възникват въпроси и що е това автоматичен отговор – очевидно, за да има такъв, предварително трябва да е избрана, конструирана и качена подходяща скала за оценяване, а не да се използват често направените „на око“ скали на някои платформи.

На второ място, не става ясно какво се има предвид под често цитираното разбиране, когато става дума за „електронни процеси на оценяване открай докрай“ (Appiah et al. 2018; Alruwais, Wills, Wald 2018). Дали това са електронни процеси на оценяване, или това е оценяване чрез използване на технологии? Ако това означава, че дейностите по създаването и реализацията се осъществяват чрез технологии, е-оценяване ли е оценяването в присъствената форма на обучение, ако в клас използваме технологии? Всичко извън използването на хартия ли е електронно оценяване? Каква е ролята на оценяващия? Очевидно е, че ефективното оценяване, независимо от средата, в която се осъществява, предполага и аналитична дейност извън или преди използването на различни устройства, която да позволи дизайна на работеща концепция за оценяване, вписана в дизайна на курса. Реализацията ѝ в електронна среда не е възможна нито без ясна дидактическа концепция, нито без познаване възможностите и инструментите на различните платформи или среди.

На трето място, в конструктивистки или конективистки дизайн на курс, каквито обикновено са дизайните на съвременните онлайн курсове, е невъзможно или поне много дискусионно да бъде вписан дизайн на оценяване, предполагащ само автоматични отговори на въпроси, който е основно бихейвиористично аргументиран.

Вярно е, че подобни въпроси и дискусии продължават да съществуват дори по отношение на присъственото обучение. По справедливото обобщение на D. Carless (2007) при признаване на необходимостта от акцент върху формиращо оценяване могат да се очертаят поне две негови различни интерпретации, които условно могат да се нарекат по-класически и по-конструктивистки. Първите разчитат на формални учебни задачи, а вторите говорят за т.нар. интерактивно формиращо оценяване. Оценяването се разглежда извън основанията, върху които се конструира обучението, като се търсят собствени аргументи за всяко решение. Това мислене се пренася върху е-оценяването (Gómez, Quesada-Serra, Ibarra-Sáiz 2014) и се проектира върху същите интерпретации и дори ги усложнява (Palloff, Pratt 2009). За едни интерактивността е във възможността за симулации, а за други – преосмисляне на задачите по посока на тяхната автентичност. Това в контекста на е-оценяването би звучало като предварително конструирани задачи с автоматичен отговор срещу е-портфолио, уики, блогове, проекти, автентични задачи и др. Стига се до добре позната ситуация: използва се един и същ термин – формиращо оценяване, но се говори за различни неща.

Тази ситуация изглежда още по-комплицирана на фона на присъственото обучение и съвременната научна представа за това кога то е ефективно. Като следствие от развитието на когнитивизма и/или конструктивизма отдавна се говори за центрирано върху ученика присъствено обучение и оценяване. При електронното обучение, аргументирано в същата методологическа посока, оценяването, ориентирано към ученето, се възприема като голяма иновация (Gómez, Quesada-Serra, Ibarra-Sáiz 2014). То се определя като „опосредстван от технологиите учебен процес, чиято цел е да подпомогне студентите да развият компетенции и умения, които са полезни за техните настоящи академични практики и бъдеще като професионалисти“ (Gómez, Quesada-Serra, IbarraSáiz 2014), и веднага рефлектира върху представата за работещи практики. По тази причина едва през последните 10 – 15 години в специализираната литература се поставят въпросите за самооценяването, взаимното оценяване, съвместното оценяване в контекста на електронното обучение (Palloff, Pratt 2009). Вероятно е било необходимо време, за да се разбере, че е-оценяването не е различен феномен от оценяването в присъствен формат.

Предизвикателства, изследвания и практики

Какви са основните акценти в т.нар. ориентирано към ученето оценяване?

Три са съществените акцента/принципа, които в специализираната литература се свързват с ориентирано към ученето оценяване, независимо дали става дума за присъствен, или за електронен формат.

1. Да се използват „учебни“ задачи – да са проектирани така, че да стимулират ученето на учениците.

2. Да се осигурява ефективна обратна връзка.

3. Учещите да са включени активно в оценяването (Carless 2007).

Как те са интерпретирани и изследвани в присъственото и в електронното обучение?

Изследванията в присъствен формат на обучение върху учебни задачи, които са по-автентични, имат повече от 30-годишна история както в световната, така и в българската научна литература. По посока интерпретацията им в е-контекст в последните години също има значителна литература и изследвания (Crisp 2007; Gómez, Quesada-Serra, Ibarra-Sáiz 2014; Palloff, Pratt 2009). Тук тези принципи са разчетени по посока на използване на автентични и провокативни задачи, като блогове, е-портфолиа, игри, уикита, по време на работата върху които студентите да получават обратна връзка, и то за предпочитане от своите състуденти с акцент върху саморефлексията, взаимното оценяване и т.нар. съвместно оценяване – студенти и преподаватели (Gómez, Quesada-Serra, Ibarra-Sáiz 2014). На тази основа може да се твърди, че от всички посочени по-горе принципи относително нови за електронното обучение и оценяване са само проблемите с обратната връзка и с участието на студентите в оценяването.

Едва ли подлежи на дискусия тезата за важността на обратната връзка за ученето на студентите. Въпросите се провокират повече от заявеното и в рамките на присъственото, и в рамките на онлайн обучението разбиране за оценяването „като учебен процес“. Основания за това вероятно са намерени именно в интерпретацията на обратната връзка. В контекста на това разбиране, студентите би следвало да получават тази обратна връзка по време на работа върху учебните задачи, които ще бъдат използвани за оценяване, т.е. става дума за обратна връзка, преди да са предадени задачите, а не използване на резултатите от оценяването като обратна връзка за това, което можеш и респективно какво би следвало да направиш, за да напредваш в определено съдържателно поле. По този начин оценяването и респективно е-оценяването се разглежда не като епизод от ученето, а като учене. Остава въпросът как да отличим дейностите, свързани с обучението, и тези, свързани с оценяването.

Във формиращ план, подобен подход едва ли може да предизвика дискусии и по-скоро отговаря на съществуващи и до появата на тази концепция практики. Друг е въпросът дали това изобщо е оценяване, ако приемем, че оценяването предполага интерпретация на доказателства. Същинска дискусия може да се разгърне по посока на това дали такава идея може да работи в сумативен план. Какво оценяваме в този случай? Вероятно по-скоро доколко студентът може да учи, отколкото какво е научил и може. Това несъмнено звучи модерно и личностно ориентирано, но се съмнявам, че бихме искали да отидем на лекар при човек, който има потенциал да се развива, но в момента няма компетентността самостоятелно да се справи с медицинския ни проблем.

Дискусионно е и разбирането за широко използване на самооценяване, взаимно оценяване и съвместно оценяване. Въпреки че тези идеи се концептуализират едва през последните години и не са принципно нови в педагогиката. Както вече е посочвано (Delibaltova 2022), в различни етапи на нейното развитие и в рамките на различни школи са съществували опити за въвеждането им в образователната практика главно в контекста на разбирането за т.нар. „възпитателна“ или „развиваща“ функция на оценяването. Ако днес те се определят като „иновативни“, това произтича по-скоро от тяхната интерпретация в контекста на е-оценяването, отколкото по отношение на обективната им новост. Сериозното изследване на самооценяването, взаимното оценяване и съвместното оценяване във висшето образование се свързват с работата на K. Topping, N. Falchikov J. Goldfinch, Falchikov и др. В изследванията и публикациите им (Topping 1998; Falchikov Goldfinch 2000; Falchikov 2004) са очертани и основните предимства – развитие на умения за задаване на въпроси, класифициране и обобщаване при студентите, които трябва да оценят постиженията на другите. На студентите в ролята на оценявани взаимното оценяване позволява да се ориентират в наличните критерии за оценка и точно да определят по-зицията, на която се намират спрямо другите и спрямо собствените си образователни претенции. Неоспорими в този план са и ползите за развитие на метакогнитивни умения, постигането на „отнемане на напрежението“ от отсъствието на преподавателя и др.

Практическите затруднения обаче също са много. На първо място, използването им изисква разработването на много и различни скали и рубрики за оценяване, които често сами провокират проблеми с обективността и валидността на оценяването. На второ място, използването на подобни задачи изисква технологична осигуреност и компетентност на много високо ниво, каквото е непостижимо за всички висши училища. На трето място, наши изследвания показват, че студентите у нас, подобно на своите колеги, имат много бариери пред използването на такава обратна връзка поради влиянието на много фактори – приятелство, промяна в статуса на колеги, съмнения в познаване на критериите и др.

Така към известните и отдавна описани и изследвани предизвикателства се прибавят още, специфични за тази концепция и слабо изследвани на терен. Този факт отвежда мисленето към две възможности – или да постигнем съгласие относно това, какво ще имаме предвид под е-оценяване и каква методология при неговото създаване ще използваме, или да продължаваме с разнопосочни изследвания и практики, в които използваме едни и същи термини, разбираме ги по различен начин и отправяме съвършено объркани послания към практиката.

Заключение

На основата на казаното може да се приеме, че е-оценяването следва да се разбира като разсъждение, основано на доказателства на основата на т.нар триъгълник на оценяването – познание, наблюдение и интерпретация, създадени и реализирани в електронна среда при използване на различни електронни устройства.

От тази позиция не изглежда основателно твърдението, че е-оценяването има различни от оценяването в присъствена среда видове, стратегии и подходи. То също може да бъде нормативно или критериално, сумативно или формиращо, вътрешно или външно, традиционно (тестиране) и автентично (интерактивно), процесуално или резултативно, текущо или кумулативно, ценностно или за абсолютен стандарт, диагностично и т.н. Това, което е по-вече от категорично, е, че то също би следвало да се разглежда „като епизод от ученето“, но е дискусионно твърдението, че оценяването е или би следвало да бъде учебен процес. В настоящото разбиране оценяването винаги е аналитичен процес, предполагащ разсъждение, основано на доказателства, а дали и как ще използваме информацията, получена от него или по време на решаването на задачи, и как това ще се впише в процеса на обучение – това е друг въпрос.

В този смисъл е-оценяването притежава всички характеристики на оценяването на учещите изобщо, но и редица характеристики, силни страни и предизвикателства, които произтичат от специфичния контекст на средата. Допълнителни особености се задават и от уникалността на висшите училища като мисия, цели и среда за обучение. От тази гледна точка не може да се говори за един-единствен правилен формат на е-оценяването. Изборът зависи от целите, които си поставяме (Crisp 2007), и от технологичните възможности, с които разполагаме, за да ги осъществим. В основата на всичко обаче без съмнение лежи избраната методология. Може би е време да стигнем до общо решение на това дали е работещо и възможно вписването на оценяване, основано на една методология, в курс на обучение, базиран на друга. Може ли да получим бихейвиористични резултати в конструктивистки ориентиран курс? В настоящото разбиране това е повече от дискусионно. Ако представените аргументи са приемливи, би следвало да насочим повече усилия в полето на т.нар. подпомагащо/ориентирано към ученето е-оценяване.

БЕЛЕЖКИ

1. Оригиналният текст е „a process of reasoning from evidence“. Цитатът и последващите разглеждания до следващо цитиране са по J. Pelegrino, N. Chudowsky, R. Glaser, (ed.) 2001.

2. National Research Council. How People Learn Bridging Research and Practice M. Suzanne Donovan, John D. Bransford, and James W. Pellegrino, editors. 1999. Washington, DC: The National Academies Press. https://doi.org/10.17226/9457.

3. National Research Council. Knowing What Students Know. The Science and Design of Educational Assessment. Committee on the Foundations of Assessment. J. Pellegrino, N. Chudowsky’ and R. Glaser, ed. 2001. Washington, DC: National Academy Press.

ЛИТЕРАТУРА

ALRUWAIS, N. WILLS, G. & WALD, M., 2018. Advantages and Challenges of Using E-assessment. International Journal of Information and Education Technology [Online], Available from DOI: 10.18178/ ijiet.2018.8.1.1008.

APPIAH, M. ET AL. 2018. E-Assessment in Higher Education: A Review. International Journal of Business Management and Economic Research (IJBMER), 9(6), 1454 – 1460.

ГЕОРГИЕВА, Г., 2018. Електронното портфолио на обучавания – образователен потенциал на технологичните решения. София: Св. Климент Охридски.

ДЕЛИБАЛТОВА, В., 2002. Оценяването на учениците. Дидактически аспекти. Велико Търново: Фабер.

ДЕЛИБАЛТОВА, В., 2022. Връзка между резултатите на студентите и оценките на преподавателите в контекста на групова проектна дейност. София: Св. Климент Охридски.

CARLESS, D., 2007. Learning-Oriented Assessment: Conceptual Bases and Practical Implications. Innovations in Education and Teaching International-February [Online], Available from DOI: 10.1080/14703290601081332.

CRISP, G., 2007. The e-Assessment Handbook. Continuum International Publishing Group. New York.

GÓMEZ, G., QUESADA-SERRA, V. & IBARRA-SÁIZ, M. 2014. Learningoriented e-assessment: the effects of a training and guidance programme on lecturers’ perceptions. Assessment & Evaluation in Higher Education (Online), Available from: DOI: 10.1080/02602938.2014.979132.

ЙОВКОВА, БЛ., 2020. Електронното обучение – възможности за разширяване на достъпа до висше образование за студенти със специални образователни потребности. София: Св. Климент Охридски.

MELLAR, H., PEYTCHEVA-FORSYTH, R., KOCDAR, S., KARADENIZ, A. & YOVKOVA, B. 2018. Addressing cheating in e-assessment using student authentication and authorship checking systems: teachers’ perspectives. International Journal for Educational Integrity, [Online], Available from: doi:10.1007/s40979-018-0025-x.

PALLOFF, R., & PRATT, K., 2009. Assessing the Online Learner: Resources and Strategies for Faculty. San Francisco, CA: Jossey-Bass.

PEYTCHEVA-FORSYTH, R. & ALEKSIEVA, L. & YOVKOVA, B., 2018а. The impact of technology on cheating and plagiarism in the assessment. The teachers’ and students’ perspectives [Online], 1551-7616, Available from DOI: 10.1063/1.5082055.

PEYTCHEVA-FORSYTH, R., ALEKSIEVA, L. & YOVKOVA, B. 2018b. The impact of prior experience of e-learning and e-assessment on students’ and teachers’ approaches to the use of a student authentication and authorship checking system. EDULEARN18 Proceedings, [Online], 2340-1117, Available from DOI: 10.21125/ edulearn.2018.

SLUIJSMANS, D., DOCHY, F. & MOERKERKE, G., 1998. The use of self-, peer- and co-assessment in higher education A review of literature. Netherlands: Open University of the Netherlands.

TOPPING, K., 1998. Peer Assessment between Students in Colleges and Universities. Review of Educational Research, 68(3), 249 – 276.

FALCHIKOV, N. & GOLDFINCH, J., 2000. Student Peer Assessment in Higher Education: A Meta-Analysis Comparing Peer and Teacher Marks. Review of Educational Research, 70(3), 287 – 322.

FALCHIKOV, N., 2004. Involving students in assessment. Psychology Learning and Teaching, 3(2), 102 – 108.

REFERENCES

ALRUWAIS, N. WILLS, G. & WALD, M., 2018. Advantages and Challenges of Using E-assessment. International Journal of Information and Education Technology [Online], Available from DOI: 10.18178/ ijiet.2018.8.1.1008.

APPIAH, M ET AL. 2018. E-Assessment in Higher Education: A Review. International Journal of Business Management and Economic Research (IJBMER), 9(6), 1454 – 1460.

CARLESS, D., 2007. Learning-Oriented Assessment: Conceptual Bases and Practical Implications. Innovations in Education and Teaching International-February [Online], Available from DOI: 10.1080/14703290601081332.

CRISP, G., 2007. The e-Assessment Handbook. Continuum International Publishing Group. New York.

DELIBALTOVA, V., 2002. Oczenyavaneto na ucheniczite. Didakticheski aspekti. Veliko Tarnovo: Faber [In Bulgarian].

DELIBALTOVA, V., 2022. Vrazka mezhdu rezultatite na studentite i oczenkite na prepodavatelite v konteksta na grupova proektna dejnost. Sofia: Sv. Kliment Okhridski [In Bulgarian].

FALCHIKOV, N. & GOLDFINCH, J., 2000. Student Peer Assessment in Higher Education: A Meta-Analysis Comparing Peer and Teacher Marks. Review of Educational Research, 70(3), 287 – 322.

FALCHIKOV, N., 2004. Involving students in assessment. Psychology Learning and Teaching, 3(2), 102 – 108.

GEORGIEVA, G., 2018. Elektronnoto portfolio na obuchavaniya – obrazovatelen potenczial na tekhnologichnite resheniya. Sofia: Sv. Kliment Okhridski [In Bulgarian].

GÓMEZ, G., QUESADA-SERRA, V. & IBARRA-SÁIZ, M. 2014. Learningoriented e-assessment: the effects of a training and guidance programme on lecturers’ perceptions. Assessment & Evaluation in Higher Education [Online], Available from DOI: 10.1080/02602938.2014.979132.

JOVKOVA, BL., 2020. Elektronnoto obuchenie v`zmozhnosti za razshiryavane na dost`pa do visshe obrazovanie za studenti s`s speczialni obrazovatelni potrebnosti. Sofia: Sv. Kliment Okhridski [In Bulgarian].

MELLAR, H., PEYTCHEVA-FORSYTH, R., KOCDAR, S., KARADENIZ, A. & YOVKOVA, B. 2018. Addressing cheating in e-assessment using student authentication and authorship checking systems: teachers’ perspectives. International Journal for Educational Integrity, [Online], doi:10.1007/s40979-018-0025-x.

PALLOFF, R., & PRATT, K., 2009. Assessing the Online Learner: Resources and Strategies for Faculty. San Francisco, CA: Jossey-Bass.

PEYTCHEVA-FORSYTH, R. & ALEKSIEVA, L. & YOVKOVA, B., 2018а. The impact of technology on cheating and plagiarism in the assessment. The teachers’ and students’ perspectives (Online), 15517616, Availble from DOI: 10.1063/1.5082055.

PEYTCHEVA-FORSYTH, R., ALEKSIEVA, L. & YOVKOVA, B., 2018b. The impact of prior experience of e-learning and e-assessment on students’ and teachers’ approaches to the use of a student authentication and authorship checking system. EDULEARN18 Proceedings, [Online], 2340 – 1117, Available from DOI: 10.21125/edulearn.2018.

SLUIJSMANS, D., DOCHY, F. & MOERKERKE, G., 1998. The use of self-, peer- and co-assessment in higher education A review of literature. Netherlands: Open University of the Netherlands.

TOPPING, K., 1998. Peer Assessment between Students in Colleges and Universities. Review of Educational Research, 68(3), 249 – 276.