Образователни технологии
АНАЛИЗ МЕТОДОВ ОЦЕНИВАНИЯ РАБОТ ВНЕУЧЕБНЫХ КОНКУРСНЫХ МЕРОПРИЯТИЙ, ПРОВОДИМЫХ В ДИСТАНЦИОННОМ ФОРМАТЕ
Резюме. Актуальность исследуемой проблемы обусловлена сложностью процедуры оценивания работ участников внеучебных конкурсных мероприятий, проводимых в дистанционном формате, представляющих собой разнородный мультимедийный контент. Цель статьи заключается в разработке исчерпывающей модели оценивания конкурсных материалов и разработке автоматизированного решения в области оценивания. В статье представлен обзор методов, применимых для оценивания работ, сформирована и описана математическая модель оценивания, а так же представлены проектные модели автоматизированной системы для проведения внеучебных конкурсных мероприятий в дистанционном формате. Система для проведения конкурсных мероприятий в дистанционном формате с модулем оценивания конкурсных работ участников предназначена для снижения трудоёмкости процесса формирования оценки и уведомлении всех посетителей сайта о рейтинге работ в реальном времени.
Ключови думи: дистанционное образование; внеучебная деятельность; организация конкурсов; математическая модель оценивания
Проблема. Современные достижения в области программного обеспечения и технических средств позволяют достаточно быстро и без особых усилий организовывать интернет-площадки для проведения различных конкурсных мероприятий в дистанционном формате. Существуют даже специальные сервисы, предоставляющие услуги по организации такого рода мероприятий: новостная лента, сбор работ, иногда демонстрация загруженного контента, информация об организаторах и нормативных документах. Но часто такие сервисы ограничены по функционалу. Например, имеют примитивный или совсем не имеют инструментария для автоматизации процессов оценивания конкурсного контента. Как правило, оценка представленных работ выполняется за рамками ресурса, а участникам мероприятий демонстрируется только итоговая таблица. А ведь способ оценивания конкурсных работ и сама процедура оценки представляют из себя максимально важный для конкурсного мероприятия момент. Для адекватной оценки работ участников творческих конкурсов, представляющих материалы в различных форматах (фото, графика, видео, анимация) не достаточно будет просто выставить общий балл, как и малоценным будет элементарно просуммировать баллы от нескольких членов жюри. Необходимо подойти к оцениванию творческих работ максимально бережно, адекватно, с учетом нюансов самой работы и мероприятия в целом. Ситуация может усложниться еще и большим количеством членов жюри, которые, зачастую, физически находятся в разных точках города, а то и в разных городах. Поэтому именно процесс оценивания конкурсных работ является одной из самых актуальных задач с точки зрения исследования, анализа и последующей автоматизации процессов в рамках организации дистанционных конкурсов и олимпиад.
Важнейшими принципами диагностирования, контролирования и оценивания соответствия представленных для участия в конкурсе работ являются объективность, систематичность, многокритериальность и наглядность (гласность). При определении победителей, призеров и отличившихся участников предметного конкурса и олимпиады предпочтение отдается работам, в которых проявились оригинальность мышления и творческий подход к раскрытию темы. Оценивается не только правильный результат, но и умение выбрать наиболее эффективные пути решения поставленных задач. Сложность процедуры оценивания многократно увеличивается при предоставлении на конкурс разнородного мультимедийного контента, включающего как презентационные материалы (изображения, видео, презентация), так и практическое решение (программный код, текстовое описание, набор моделей).
При анализе особенностей и критериев оценивания конкурсов, включающих разработку мультимедийных и программных проектов (Abramova, 2016), было определено, что оценку работ необходимо проводить, учитывая множество уникальных критериев, количество и группировка которых может изменяться в зависимости от типа конкурса и вида проекта. К таким критериям можно отнести, например: актуальность решенной задачи; выраженность авторской идеи; дизайнерские решения; качество и сложность выполнения; количество и качество используемых эффектов; композиция; логика и полнота раскрытия сюжета; оригинальность идеи и художественного замысла; раскрытие образа при помощи цифровой графики; смысловая законченность работы; соответствие изобразительных приемов теме конкурса; соответствие техническим требованиям задания; степень интерактивности и мультимедийности; оригинальность исполнения; техническая сложность исполнения; уникальность сюжета; уровень владения технологиями разработки проекта; художественный вкус и художественный уровень исполнения (дизайн элементов оформления, гармоничное цветовое сочетание, качество композиционного решения); эмоциональное воздействие работы на пользователя и др.
Так же в результате анализа веб-ресурсов для проведения внеучебных конкурсных мероприятий определился наибольший перечень проблем именно по критерию «оценка конкурсных работ и просмотр результатов» (Abramova & Krupoderov, 2016; Abramova & Aleksandrina, 2017). И, если оценить степень автоматизации процесса оценивания реально не всегда представляется возможным, чаще доступна только косвенная оценка, то просмотр результатов доступен всем посетителям (если он вообще присутствует), и, в основном, сводится к демонстрации общей таблицы результатов без объяснения и комментирования выставленных там оценок. А иногда ресурс предлагает только информацию о победителях, причем еще реже такая информация сопровождается описанием или ссылкой на конкурсную работу. При анализе существующих веб-ресурсов для проведения конкурсных мероприятий не было обнаружено ни одной русскоязычной системы, где визуализировался бы сам процесс оценивания (средний балл конкретной работы, например) в виде различного рода графиков и таблиц или демонстрировался в реальном времени общий рейтинг работ. Хотелось бы упомянуть, так же, о ничтожном количестве систем, позволяющих посетителям или участникам конкурса (например, всем зарегистрированным пользователям) самим участвовать в процессе оценивания работ. Хотя как раз эту функцию можно выделить как одну из самых понятных и востребованных для современных молодых людей, участвующих, как правило, в подобного рода мероприятиях. Если к вешеуказанным проблемам добавить почти полную закрытость процесса оценивания, представление жюри только на уровне списка (да и то не навсех ресурсах), отсутствие сведений о рейтинге работы в реальном времени, то можно с уверенностью сказать, что процесс оценки конкурсных работ нуждается в качественной модернизации и автоматизации.
Постановка задачи. Сфера информационных технологий непрерывно прогрессирует, создавая множество современных технических решений. Происходит масштабная автоматизация ранее созданных технических процессов путем замены рутинной деятельности автоматизированным программным решением. По этой причине автоматизация процесса оценивания конкурсных работ приобретает особую актуальность. При выборе методов и средств оценивания следует придерживаться следующих основных принципов:
– адекватность: соответствие оценки знаний, умений, навыков, ценностей, компетентностей целям конкурсного мероприятия;
– значимость: акцент на оценивании наиболее значительных результатов деятельности участников;
– объективность и справедливость: осуществление тщательного подбора конкретных критериев оценки;
– открытость: критерии и стратегии оценивания сообщаются участникам мероприятия заранее, по возможности члены жюри, а, как максимум, и конкурсанты участвуют в разработке критериев оценки;
– доступность: формы оценивания, его цели и сам процесс просты и ясны всем участникам мероприятия;
– систематичность: процедуры оценивания осуществляются последовательно и периодично;
– доброжелательность: создание ситуаций партнерских отношений между членами жюри, научными руководителями, консультантами и участниками конкурсов, стимулирующих к росту достижений; а так же общая направленность на развитие и поддержку участников.
Результаты исследования. Оценку результативности конкурсных работ с разнородным мультимедийным контентом можно проводить с помощью метода задания весовых коэффициентов или, другими словами, взвешенных балльных оценок.
Метод задания весовых коэффициентов заключается в присвоении всем признакам весовых коэффициентов. Весовые коэффициенты могут быть проставлены двумя способами:
1) всем признакам назначают весовые коэффициенты так, чтобы сумма коэффициентов была равна какому-то фиксированному числу (например, единице, десяти или ста);
2) наиболее важному из всех признаков придают весовой коэффициент, равный какому-то фиксированному числу, а всем остальным – коэффициенты, равные долям этого числа.
Учитывая приведенный выше факт, формируется перечень критериев, которые наиболее полно отражают качества мультимедийного конкурсного контента, и каждому из критериев присваивается свой весовой коэффициент. До начала выполнения задания участники и члены жюри должны быть ознакомлены с системой критериев и конкретизирующих их показателей, а также (если это предусматривается заданием) с балльной шкалой. Критерии и показатели должны быть зафиксированы и доступны всем по-стоянно, они должны быть конкретны, однозначны, понятны и посильны для достижения.
Также оценку работ участников олимпиад можно проводить рейтинговым методом. Рейтинг – это индивидуальный количественный индекс участника мероприятия, представляющий собой интегральную оценку количества и качества выполненных заданий, равный выраженному в процентах отношению набранных участником баллов за определенный период к максимально возможному числу баллов, соответствующему отличному выполнению всех обязательных конкурсных заданий.
Согласно приведенным в литературе определениям, рейтинг – это интегральная оценка, которая учитывает множество факторов: уровень знаний участника, его ответственность, способность к самообучению, спектр реализуемых видов исследовательской деятельности, психологическая стабильность и т.д.
Более совершенным приемом оценки конкурсных работ являются методы экспертных оценок – это методы организации работы со специалистами-экспертами и обработки мнений экспертов.
Эксперты – это лица, обладающие знаниями и способные высказать аргументированное мнение по изучаемому явлению, в нашем случае, по условиям конкурса и качеству предоставляемых на проверку работ. Эти мнения могут быть представлены частично в количественной, частично в качественной форме.
Метод экспертных оценок включает в себя три составляющие.
Интуитивно-логический анализ задачи. Строится на логическом мышлении и интуиции экспертов, основан на их знании и опыте. Этим объясняется высокий уровень требований, предъявляемых к экспертам.
Решение и выдача количественных или качественных оценок. Эта процедура представляет собой завершающую часть работы эксперта. Им формируется решение по рассматриваемой проблеме и дается оценка ожидаемых результатов.
Обработка результатов решения. Полученные от экспертов оценки должны быть обработаны с целью получения итоговой оценки проблемы. В зависимости от поставленной задачи изменяется количество выполняемых на этом этапе расчетных и логических процедур. Для обеспечения оперативности и минимизации ошибок на данном этапе целесообразно использование вычислительной техники.
Для того, чтобы оценить работы для конкурса с разнородным мультимедийным контентом, наилучшей методикой можно считать аналитическую методику, предусматривающую предварительную детальную независимую работу эксперта над тем, как оценивать конкурсную работу. Во время работы над индивидуальными мнениями экспертов применяют разные количественные и качественные методики. Решение о том, какую выбрать методику, основывается на сложности конкурса и требований к конкурсным работам, формы, в которой представлены оценки экспертной группы и целей экспертизы.
Для того, чтобы обработать итоги оценки конкурсных работ экспертами применяются методики математической статистики. Например, усиливаться качество экспертного оценивания может за счет параллельного использования метода анализа иерархий. Такой подход позволит учитывать выделенные для оценки критерии по установленному рангу значимости, и вывести экспертную оценку работ на более высокий, качественный уровень.
Например, в конкурсе «Олимпиада по компьютерной графике Opengl/ VPI», участниками которого являются студенты вуза, интересующиеся программируемой компьютерной графикой, оцениваются графические работы, выполненные полностью самостоятельно с помощью любого программного обеспечения, но с использованием графической библиотеки Opengl. Сцены могут быть двумерные или трехмерные, они могут быть статичными, а могут быть анимированы. Поэтому предоставляемый на конкурс материал зависит от выбранной категории для участия и может содержать разнородный мультимедийный контент: описание работы, изображение, презентацию, видео.
На данный конкурс могут быть представлены работы, как отдельных авторов, так и творческих коллективов не более трех человек, количество работ от одного участника не ограничено. Оценивание работ выполняется экспертной комиссией (жюри), которым предоставляется список критериев для оценки с необходимыми уточнениями. Подведение итогов по конкурсу производится индивидуально для каждого участника или коллектива соавторов в соответствии с выбранной категории.
При оценке работ по заданным критериям членам жюри рекомендуется руководствоваться следующими формулировками (табл.1).
Критерии оценки конкурсных работ
Процедура оценки конкурсных работ может быть автоматизирована на основе метода анализа иерархий, который позволяет дать более объективную научно-обоснованную оценку (Manyshev, Fadeeva & Rybanov, 2019; Rybanov, 2019).
Процедуру оценки рассмотрим на примере сравнительного анализа двух конкурсных работ олимпиады «Компьютерная графика». Анализируя предметную область задачи, можно получить следующие данные:
Лица, принимающие решения (эксперты): Эксперт 1, Эксперт 2.
Критерии, по которым проводится сравнительный анализ: стилистка, визуальное оформление, сложность сцены.
Анализируемые работы: конкурсная работа №1, конкурсная работа №2.
Иерархия объектов, отражающая структуру процедуры оценки конкурсных работ, приведена на рисунке 1.
Рисунок 1. Пример иерархии объектов для задачи оценки конкурсных работ
Выясним интенсивность взаимодействия элементов иерархии на каждом уровне. На втором уровне единственная матрица сравнения показывает влияние мнения каждого из экспертов на принятие окончательного решения: \[ M=\left[\begin{array}{ll} 1 & 1 \\ 1 & 1 \end{array}\right], w=\left[\begin{array}{l} 0.5 \\ 0.5 \end{array}\right] \]
В данном случае предполагается, что эксперт №1 и Эксперт №2 равноправно участвуют в оценке конкурсных работ.
На следующем уровне каждый из экспертов должен установить свои приоритеты для критериев, по которым будет проводиться сравнительный анализ конкурсных работ: \[ M(1)=\begin{gathered} \text { стилистика } \\ \text { сизуал оформл } \\ \text { сложн. сцены } \end{gathered}\left[\begin{array}{ccc} 1 & 7 & 5 \\ 1 / 7 & 1 & 1 \\ 1 / 5 & 1 & 1 \end{array}\right] \quad \begin{array}{r} \text { стилистика } \\ M(2)=\text { визуал оформл } \\ \text { сложн. сцены } \end{array}\left[\begin{array}{ccc} 1 & 5 & 1 \\ 1 / 5 & 1 & 5 \\ 1 & 1 / 5 & 1 \end{array}\right] \]
Матрица сравнения \(M(1)\) составляется первым экспертом, матрица \(M(2)\) – вторым. Из матрицы, составленной экспертом №1, видно, что стилистика имеет, по его мнению, значительное превосходство над таким критерием, как визуальное оформление, а визуальное оформление и сложность сцены одинаково важны. Эксперт №2 считает, что стилистика и сложность сцены – одинаково важны при выборе, но визуальное оформление является существенно более важной характеристикой, чем сложность сцены.
Соответствующие матрицам сравнения векторы локальных приоритетов находятся следующим образом:
\[ \begin{aligned} & v(1)=\left[\begin{array}{l} \sqrt[3]{35} \\ \sqrt[3]{1 / 7} \\ \sqrt[3]{0.2} \end{array}\right]=\left[\begin{array}{l} 3,267 \\ 0,523 \\ 0,585 \end{array}\right] \quad w(1)=\left[\begin{array}{l} \tfrac{3,267}{3,267+0,523+0,585} \\ \tfrac{0,523}{3,267+0,523+0,585} \\ \tfrac{0,585}{3,267+0,523+0,585} \end{array}\right] \approx\left[\begin{array}{l} 0,747 \\ 0,119 \\ 0,134 \end{array}\right] \\ & v(2)=\left[\begin{array}{c} \sqrt[3]{5} \\ \sqrt[3]{1} \\ \sqrt[3]{0.2} \end{array}\right]=\left[\begin{array}{c} 1,709 \\ 1 \\ 0,585 \end{array}\right] \quad w(2)=\left[\begin{array}{c} \tfrac{1,709}{1,709+1+0,585} \\ \tfrac{1}{1,709+1+0,585} \\ \tfrac{0,585}{1,709+1+0,585} \end{array}\right] \approx\left[\begin{array}{l} 0,519 \\ 0,304 \\ 0,177 \end{array}\right] \end{aligned} \]
После парного сравнения критериев каждый эксперт составляет матрицы сравнения для имеющихся альтернатив (элементов третьего уровня), то есть определяет, насколько предпочтительнее является один телевизор по отношению к другому с точки зрения того или иного критерия.
Матрицы сравнения эксперта 1:
– по критерию 1 (стилистика);
\[ M(1,1)=\begin{aligned} & \text { конкурсная работа №1 } \\ & \text { конкурсная работа №2 } \end{aligned}\left[\begin{array}{cc} 1 & 2 \\ 1 / 2 & 1 \end{array}\right], w(1,1)=\left[\begin{array}{l} 0.667 \\ 0.333 \end{array}\right] \]
– по критерию 2 (визуальное оформление); \[ M(1,2)=\left[\begin{array}{cc} 1 & 3 \\ 1 / 3 & 1 \end{array}\right], w(1,2)=\left[\begin{array}{l} 0.75 \\ 0.25 \end{array}\right] \]
– по критерию 3 (сложность сцены).
\[ M(1,3)=\left[\begin{array}{cc} 1 & 1 / 4 \\ 4 & 1 \end{array}\right], w(1,3)=\left[\begin{array}{l} 0.2 \\ 0.8 \end{array}\right] \]
По мнению эксперта 1, конкурсная работа №1 обладает более предпочтительным визуальным оформлением, несколько лучшей стилистикой, но имеет заметно более сложную сцену.
Матрицы сравнения эксперта 2:
– По критерию 1 (стилистика);
\[ M(2,1)=\left[\begin{array}{ll} 1 & 1 \\ 1 & 1 \end{array}\right], w(2,1)=\left[\begin{array}{l} 0.5 \\ 0.5 \end{array}\right] \]
– по критерию 2 (визуальное оформление);
\[ M(2,2)=\left[\begin{array}{cc} 1 & 7 \\ 1 / 7 & 1 \end{array}\right], w(2,2)=\left[\begin{array}{l} 0.875 \\ 0.125 \end{array}\right] \]
– по критерию 3 (сложность сцены).
\[ M(2,3)=\left[\begin{array}{cc} 1 & 1 / 3 \\ 3 & 1 \end{array}\right], w(1,2)=\left[\begin{array}{l} 0.75 \\ 0.25 \end{array}\right] \]
Эксперт 2 не заметил особой разницы в стилистике, однако считает, конкурсная работа №1 имеет значительно более привлекательное визуальное оформление.
После завершения экспертных сравнений можно переходить к синтезу глобального вектора приоритетов. Общий вектор приоритетов для эксперта 1 вычисляется следующим образом:
\[ C(1)=\left[\begin{array}{lll} W(1,1) & W(1,2) & W(1,3) \end{array}\right]=\left[\begin{array}{lll} w(1,1) & w(1,2) & w(1,3) \end{array}\right]=\left[\begin{array}{lll} 0.667 & 0.75 & 0.2 \\ 0.333 & 0.25 & 0.8 \end{array}\right] \]
\(W(1)=C(1) \times w(1)=\left[\begin{array}{lll}0.667 & 0.75 & 0.2 \\ 0.333 & 0.25 & 0.8\end{array}\right] \cdot\left[\begin{array}{l}0.747 \\ 0.119 \\ 0.134\end{array}\right]=\left[\begin{array}{l}0.615 \\ 0.385\end{array}\right]\)
Аналогично вычисляем общий вектор приоритетов для эксперта 2: \[ C(2)=\left[\begin{array}{lll} W(2,1) & W(2,2) & W(2,3) \end{array}\right]=\left[\begin{array}{lll} w(2,1) & w(2,2) & w(2,3) \end{array}\right]=\left[\begin{array}{lll} 0.5 & 0.875 & 0.25 \\ 0.5 & 0.125 & 0.75 \end{array}\right] \]
\(W(2)=C(2) \times w(2)=\left[\begin{array}{lll}0.5 & 0.875 & 0.25 \\ 0.5 & 0.125 & 0.75\end{array}\right] \cdot\left[\begin{array}{l}0.519 \\ 0.304 \\ 0.177\end{array}\right]=\left[\begin{array}{l}0.569 \\ 0.431\end{array}\right]\)
Используя \(C(1)\) и \(C(2)\) можно вычислить глобальный вектор приоритетов:
\[ \begin{aligned} & C=\left[\begin{array}{ll} W(1) & W(2) \end{array}\right]=\left[\begin{array}{ll} 0.615 & 0.569 \\ 0.385 & 0.431 \end{array}\right] \\ & W=C \times w=\left[\begin{array}{ll} 0.615 & 0.569 \\ 0.385 & 0.431 \end{array}\right] \cdot\left[\begin{array}{l} 0.5 \\ 0.5 \end{array}\right]=\left[\begin{array}{l} 0.592 \\ 0.408 \end{array}\right] \end{aligned} \]
Таким образом, конкурсная работа №1 имеет более высокую оценку, чем конкурсная работа №2 (\(0.592 \gt 0.408\) ).
Описанная выше процедура может быть легко адаптирована для произвольного числа экспертов, критериев оценки и конкурсных работ.
Предлагаемое решение. Реализованная система для проведения конкурсных мероприятий в дистанционном формате значительно упрощает не только процессы организации, приема и демонстрации конкурсных работ, но и процесс оценивания работ участников веб-конкурсов.
Система оценки работ для дистанционных конкурсов содержит следующий функционал:
Добавление/удаление конкурсов администратором сайта;
Регистрация на сайте участников конкурса;
Загрузка работ участниками конкурсов;
Установка критериев оценки работ, ранжирование критериев;
Оценка работ членами жюри;
Выставление отметок «Нравится» зарегистрированными пользователями (в т.ч. участниками конкурса, но только не на свои загруженные работы) и членами жюри – дополнительный формат оценки конкурсных работ;
Функционал просмотра рейтинга для каждого из конкурсов, разделенный на рейтинг по результатам оценок членами жюри и по результатам отметок «Мне нравится».
Предварительную модель системы можно представить в виде диаграмм прецедентов на рисунке 2.
Рисунок 2. Диаграмма прецедентов информационной системы для проведения конкурсов в дистанционном формате
Процесс оценивания выполняется по двум направлениям. Оценивание по отметкам «Мне нравится», он доступен всем авторизованным пользователям. Также есть возможность убрать отметку «Мне нравится» у всех, кто её оставил. Второе направление оценивание – оценивание по критериям. Он доступен только членам жюри. Есть возможность изменения оценки по каждому из критериев. Если конкурс не подразумевает нескольких претендентов на одно место в рейтинге, то при оценивании или изменении оценки выводится предупреждение о совпадении количества баллов с другой работой и ссылкой на неё (рис. 3).
Рисунок 3. Модуль оценивания конкурсных работ
Разработанная система обладает удобным и дружелюбным интерфейсом как для администратора, так и для все ролей пользователей, особенно членов жюри, что дает значительные преимущества по сравнению с аналогичными сайтами (Dimitrenko, Abramova & Rybanov, 2019). При этом предлагаемые решения учитывают исследования в области эргономичности и удобства интерфейса (Abramova, 2019; Katkov, Abramova & Rybanov, 2019) Например, страница каждой работы содержит всю необходимую информацию, включая превью и ссылки на просмотр видеоролика по работе, а так же есть возможность скачать архив с материалами (для члена жюри) (рис. 4):
Рисунок 4. Страница работы
Процедура оценивания работ упрощается за счет удобных скроллингов по установленным администратором критериям (рис. 5), вывода предупреждений при совпадении баллов, а так же отслеживании уже оцененных работ.
Рисунок 5. Оценивание конкурсных работ
Важнейшим достоинством разработанной системы авторы по праву считают автоматически собираемый в реальном времени рейтинг работ, разбитый по двум категориям: оценка жюри и оценка участниками конкурса (рис. 6):
Рисунок 6. Страница рейтинга
Причем вывод рейтинга не ограничивается статичным списком, а позволяет при желании перейти на заинтересовавшую работу (рис.7):
Рисунок 7. Рейтинг конкурсных работ
Исходя из вышеизложенного, можно с уверенностью утверждать, что система для проведения конкурсных мероприятий в дистанционном формате с модулем оценивания конкурсных работ участников значительно снижает трудоёмкость процесса формирования оценки и уведомлении всех посетителей сайта о рейтинге работ, участвующих в конкурсе. А реализация системы с помощью CMS 1С-Битрикс обеспечивает следующие функции:
Высокую производительность, в отличии от других фреймворков, написанных на PHP.
Обеспечивает кэширование страниц и отдельных фрагментов кода, ускорив процесс загрузки страниц с статическим контентом.
Позволяет оперативно перехватывать и обрабатывать ошибки кода.
При необходимости модификации системы гарантирует быстрое изменение и оптимизацию программного кода.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
Абрамова, О.Ф. Анализ проблем и автоматизация процедуры оценивания конкурсных работ в дистанционном формате [Электронный ресурс] NovaInfo.Ru: электрон. журнал. 2016, № 57, т. 1. – Режим доступа: http://novainfo.ru/article/9574.
Абрамова, О.Ф. & Круподеров, О.Ф. Обзор web-систем для проведения олимпиад в дистанционном формате [Электронный ресурс] NovaInfo.Ru: электрон. журнал. 2016, № 47, ч. 4. – Режим доступа : http://novainfo.ru/article/6794.
Абрамова, О.Ф. & Александрина, А.Ю. Анализ методов организации и проведения внеучебных конкурсных мероприятий в дистанционном формате. Открытое и дистанционное образование. 2017, № 2 (66), C. 14 – 25.
Абрамова, О.Ф. Визуализация паттерна поведения пользователя web-системы. Кибернетика и программирование: электронный журнал. 201, № 3, C. 43 – 52. – DOI: 10.25136/2644-5522.2019.3.23017. – URL: https://nbpublish.com / library_read_article.php?id=23017.
Димитренко, И.В., Абрамова, О.Ф. & Рыбанов, А.А. Обзор действующих систем и методов оценки конкурсного мультимедийного контента. Научное обозрение. Педагогические науки. 2019, № 3, ч. 3, C, 33 – 36.
Катков, Д.С., Абрамова, О.Ф. & Рыбанов, А.А. Исследование и анализ применения принципов геймификации в обучающих программных системах [Электронный ресурс] Постулат: электронный научный журнал. 2019, № 3, 5 с. – Режим доступа: http://epostulat.ru/index.php/Postulat/article/view/2518.
Манышев, С.В., Фадеева, М.В. &. Рыбанов, А.А. Исследование алгоритмов принятия решений и разработка веб-системы выбора с учётом весовых коэффициентов заданных альтернатив [Электронный ресурс] Постулат: электронный научный журнал, 2019, № 3, 10 с, Режим доступа: http://e-postulat.ru/index.php/Postulat/ article/view/2543.
Рыбанов, А.А. Количественные критерии для оценки тезауруса обучаемого в системах дистанционного обучения Открытое и дистанционное образование, 2019, № 2 (74), C, 64 – 73.
REFERENCES
Abramova, O.F. (2016). Analiz problem i avtomatizaciya procedury ocenivaniya konkursnyh rabot v distancionnom formate [Elektronnyj resurs] NovaInfo.Ru: elektron. zhurnal. № 57, t. 1. http://novainfo.ru/ article/9574.
Abramova, O.F. & Krupoderov, D.D. (2016). Obzor web-sistem dlya provedeniya olimpiad v distancionnom formate [Elektronnyj resurs] NovaInfo.Ru: elektron. zhurnal. № 47, ch. 4. http://novainfo.ru/article/6794.
Abramova, O.F. & Aleksandrina, A.YU. (2017). Analiz metodov organizacii i provedeniya vneuchebnyh konkursnyh meropriyatij v distancionnom formate. Otkrytoe i distancionnoe obrazovanie, № 2 (66), p. 14 – 25.
Abramova, O.F. (2019). Vizualizaciya patterna povedeniya pol’zovatelya web-sistemy. Kibernetika i programmirovanie: elektronnyj zhurnal, № 3, p. 43-52. DOI: 10.25136/2644-5522.2019.3.23017. URL: https://nbpublish.com /library_read_article.php?id=23017.
Dimitrenko, I.V., Abramova, O.F. & Rybanov, A.A. (2019). Obzor Dejstvuyushchih sistem i metodov ocenki konkursnogo mul’ timedijnogo kontenta. Nauchnoe obozrenie. Pedagogicheskie nauki, № 3, ch. 3, p. 33 – 36.
Katkov, D.S., Abramova, O.F. & Rybanov, A.A. (2019). Issledovanie i analiz primeneniya principov gejmifikacii v obuchayushchih programmnyh sistemah [Elektronnyj resurs]. Postulat: elektronnyj nauchnyj zhurnal. № 3, 5 s. http://e-postulat.ru/index.php/Postulat/article/view/2518.
Manyshev, S.V., Fadeeva, M.V. & Rybanov, A.A. (2019). Issledovanie algoritmov prinyatiya reshenij i razrabotka veb-sistemy vybora s uchyotom vesovyh koefficientov zadannyh al’ternativ [Elektronnyj resurs] Postulat: elektronnyj nauchnyj zhurnal, № 3, 10 s. http://e-postulat.ru/ index.php/Postulat/article/view/2543.
Rybanov, A.A. (2019). Kolichestvennye kriterii dlya ocenki tezaurusa obuchaemogo v sistemah distancionnogo obucheniya. Otkrytoe i distancionnoe obrazovanie, № 2 (74). P. 64 – 73.