https://doi.org/10.53656/for2024-03-03

Резюме. В статията е представено изследване на възприемането, разбирането и оценката на две интервюта – първото реално, а второто – генерирано чрез изкуствения интелект ChatGPT. Изследването обхваща 84 участници на възраст между 20 и 23 години, студенти от специалностите „Психология“, „Българска филология“, „Славянска филология“ и „Руска филология“ от СУ „Свети Климент Охридски“. Изследователският дизайн е от тип „междугрупов“ (в случая – двугрупов). Първата експериментална група се състои от 40 и.л. и оценява интервюто, проведено с реална известна личност. Втората експериментална група се състои от 44 и.л. и оценява интервюто, проведено с изкуствения интелект. Интервютата се състоят от десет идентични въпроса и десет съответни отговора. Всеки от десетте отговора участниците оценяват чрез Ликъртова скала, съставена от 5 бални скали, всяка от които е „континуална“ с 11 възможни позиции за отговор (от „0“ до „10“), както следва: [1] неадекватен / напълно адекватен; [2] неконкретен (общ) / напълно конкретен; [3] неизчерпателен / напълно изчерпателен; [4] съмнителен / напълно реалистичен; и [5] незадоволителен / напълно удовлетворяващ. Направен е статистически анализ – двугрупов t-тест (за две извадки с различни дисперсии), от който се установява следното: консолидирани отговори (поредици от максимални оценки) при работа с „изкуственото“ интервю; в два от поставените десет въпроса се наблюдава статистически значима разлика в полза на изкуствения текст; в един от въпросите се наблюдава статистически значима разлика в полза на реално проведеното интервю; няма разлика при емоционалното въздействие и интереса в обобщената оценка.

Ключови думи: интервю; изкуственост/реалистичност; изкуствен интелект; медийна грамотност; дигитална грамотност

Появата на изкуствения интелект и опитите за включването му в педагогическата практика не са ново явление, но преживяват експанзия, която води до експоненциалното и бързо нарастване на употребите му в степен, при която никога училището не може да бъде подготвено да работи с него, защото винаги ще е в позиция на „догонване“ на развитието на изкуствения интелект. По отношение на употребата му в училищната практика съществуват както категорично отрицателни позиции, така и силно подкрепящи екзалтирани становища за полезността, за преобразуването на формите на образованието, за преодоляването на дефицитите на образованието. В езиковото обучение едно от големите предизвикателства е навлизането на големите езикови модели (LLM – Large Language Models). Прилагането им в образованието е свързано както с приемането, така и с отхвърлянето им. Съществуват изследвания, които се съсредоточават върху практикоприложните аспекти на големите езикови модели в изучаването на чужд език, които се съсредоточават върху технологията за разпознаване на реч (като инструмент за бързо овладяване на особености на произношението и интонацията), технологията за машинен превод (даваща възможност на учениците да усъвършенстват уменията си за превод в определени аспекти), технологията за обработка на естествен език (като подкрепяща овладяването на езика в реални комуникативни ситуации) (Liu 2023). Изкуственият интелект обаче може да служи и като силен инструмент за манипулация, за подвеждане и представяне на невярна информация, която да е основа за манипулиращи общественото мнение стратегии. В изследване на Антония Радкова ясно се диференцират границите, до които може да достигне употребата на изкуствения интелект. Предложените от авторката примери и анализи доказват, „че изкуственият интелект може да бъде помощник и фасилитатор в работата на учителя. Но те също така показват, че функциите и резултатите на дейността му са ограничени до определени видове дейности, задачи и материали, защото „ИИ не би могъл да замени традиционните учебници и други учебни материали, а още по-малко – преподавателя или учителя“ (Radkova 2024, p.185).

Рисковете от употребата на изкуствения интелект се отнасят до: предаване на невярна или неточна информация; дефицит при развиването на метакогнитивни умения и податливост на учениците към „леност“ или небрежност към информацията поради неразвити умения за самостоятелно и саморегулирано учене; пренебрегване на времето за самоподготовка поради наличието на по-бързи инструменти за справяне; създаване на фалшиво усещане за решаване на проблем; готовност на образователните системи да се поддадат безкритично на опитите за подмяна на похватите и средствата за обучение без методическа подготовка и планиране; заличаване на хуманния подход в образованието при неправилна или некомпетентна употреба.

1. Цели и задачи на изследването

Основна цел на изследването е да се проследи разликата при възприемането по скала реалност/изкуственост на съпоставени два текста (интервюта), първото от което е заето от медиен източник и представлява интервю, проведено с проф. Бойчо Кокинов, а второто – снето посредством изкуствен интелект (Chat GPT, версия 4).

2. Основни хипотези

Усещането за „реалност“ или „изкуственост“ при възприятието на двете интервюта, операционализирано чрез петте характеристики на двата текста: (а) адекватност; (б) конкретност; (в) изчерпателност; (г) реалистичност; (д) удовлетворителност, е различно – както по отношение на изброените пет компонента, така и обобщено – като цялостно възприятие. Тази хипотеза може да бъде утвърдена (или отхвърлена) на база сравняване на централните тенденции (средните стойности) при оценките по отношение на двете интервюта – чрез статистически тест. Ако средните стойности са статистически различни, може да се приеме, че цялостното възприятие за „реалност“ или „изкуственост“ е различно – очакването е, че интервюто с действителната личност ще се възприеме като по-реалистично от интервюто с изкуствения интелект. Допуска се, че при някои от петте компонента на операционализацията „реалност – изкуственост“: (а) адекватност; (б) конкретност; (в) изчерпателност; (г) реалистичност; (д) удовлетворителност, се създава специфично самостоятелно усещане за реалност.

Възможно е конкретното съдържание на аналогичните въпроси от двете интервюта да предизвиква (или да не предизвиква) значителна разлика в усещането за „реалност“ или „изкуственост“, която да е в полза както на „естественото“, така и на „изкуственото“ интервю. В тази връзка, може да се предположи, че (1) съществува по-висока степен на доверие към изкуствен интелект при отговори, изискващи теоретично представяне на информация, и (2) съществува по-ниска степен на емоционално въздействие при отговорите на въпросите от интервюта при изкуствен интелект спрямо отговорите, снети от реалното интервю.

Степента на емоционалното въздействие на оценяваното интервю е свързана с провокирания интерес към темата на интервюто.

3. Методика на изследването и инструментариум

3.1. Участници

Изследването обхваща 84 участници на възраст между 20 и 23 години, студенти от специалностите „Психология“, „Българска филология“, „Славянска филология“ и „Руска филология“ от Софийския университет „Свети Климент Охридски“.

3.2. Стимулен материал

За целите на експеримента са използвани две интервюта. Първото е реално интервю. Второто е конструирано с изкуствен интелект. При оформянето на второто интервю са използвани идентични въпроси на интервюиращия, заети от реалното интервю. Интервютата се състоят от десет въпроса и десет отговора.

Всеки от десетте отговора участниците оценяват чрез една и съща матрица – Ликъртова скала, съставена от 5 бални скали, всяка от които е „континуална“ с 11 възможни позиции за отговор:

– До каква степен отговорът е адекватен на въпроса? (0 – неадекватен, 10-напълно адекватен).

– До каква степен отговорът е конкретен? (0 – неконкретен (общ), 10 – напълно конкретен).

– До каква степен отговорът е изчерпателен? (0 – неизчерпателен, 10 – напълно изчерпателен).

– До каква степен отговорът е реалистичен и не буди съмнения? (0 – съмнителен, 10 – напълно реалистичен).

– До каква степен отговорът е удовлетворяващ читателя? (0 – незадоволителен, 10 – напълно удовлетворяващ)

3.3. Процедура

Участниците в изследването прочитат на хартиен носител предложените интервюта и оценяват всеки от въпросите по зададените 5 бални скали. След прочита оценяват цялостно интервюто по параметрите за цялостна оценка. Инструкцията е следната: „Уважаеми участници в изследването, представяме Ви 10 (десет) от въпросите от проведено интервю, както и дадените на тях отговори. Вашата задача е да оцените всеки от отговорите по отношение на 5 (пет) характеристики: (а) адекватност; (б) конкретност; (в) изчерпателност; (г) реалистичност; (д) удовлетворителност. За тази цел след всеки от отговорите ще видите няколко 10-степенни скали, съгласно които Вашият конкретен отговор относно дадената характеристика ще получи оценка от 0 (нула) до 10 (десет). Тук няма „верни“ или „грешни“ отговори – всичко е въпрос на лична преценка. В края на работата по интервюто участниците дават обща оценка на интервюто при следната инструкция: „Уважаеми участници в изследването, накрая молим за кратко обобщение. За тази цел отново се използват две 10-степенни скали, съгласно които да дадете своите отговори. И тук няма „верни“ или „грешни“ отговори – всичко е въпрос на лична преценка“.

3.4. Експериментални данни

Данните са организирани в електронни таблици, чрез които е осъществена първичната им обработка, след което е направен статистически анализ: двугрупов t-тест / One-way ANOVA. Изчислени са средна стойност, стандартно отклонение, стандартна грешка, стойност на критично отношение по всяка от балните скали при въпросите от интервютата. Направен е и корелационен анализ за определяне на свързаност между емоционалното въздействие на интервюто и степента на провокиран интерес към темата при всяко от интервютата.

4. Резултати и анализ

Анализът на данните показва, че при оценката по скалата при три от отговорите по нито едно от равнищата на скалата не се наблюдават статистически значими разлики между реалното и „изкуственото“ интервю (на въпрос 1. „Как възникна идеята за създаването на лятната школа по когнитивна наука?“; въпрос 7. „Предизвиква ли лятната школа интерес у студентите по психология?“; въпрос 8. „Какво ще кажете на онази част от студентите, които гледат с известна резервираност към когнитивната наука?. Случвало ли се е студент да признае, че лятната школа е променила мнението му за когнитивната наука в положителна посока?“). Първият въпрос има информативен характер. При отговора се очаква да се посочи как се е стигнало до идеята и каква е причината за обособяване на лятна школа по когнитивна наука. Отговорът на реалното интервю представя точни данни (година на възникване), предпоставки за възникването (обвързване на лятната школа с идеята за разширяване обхвата на дейностите извън границите на държавата), грижа за студентите (идеята за откриване на нови научни и приложни аспекти за тях), гарантиране на международен стандарт за оценка на студентите („И нещо, което е много важно, дипломирането на нашите студенти да става винаги пред международно жури, така че тези хора да участват в изпитването на нашите студенти при тяхното дипломиране“). Отговорът показва лична позиция и ангажираност с проблема, категорично участие в него, употреба на терминологичен език в степен, съобразена с комуникативното намерение на интервюирания – популяризиране на идеята и разкриване на нейната същност.

Отговорът на „изкуственото“ интервю е лишен от конкретика. Съдържа обаче набор от ключови думи, влизащи в обсега на когнитивната наука („Такива летни школи могат да представят интензивни курсове, включително мислене, памет, възприятие, език и др.). Отговорът е изграден по структурата повторение на въпроса, същност на лятната школа по когнитивна наука, възможности. Предложените твърдения са адекватни на поставения въпрос, използват учестен терминологичен апарат, но съдържат изреченски конструкции, които обичайно не се използват в речта на български език. Това обаче не предизвиква тревога при изследваните лица.

При анализа на въпрос 7. се установява, че в реалното интервю отговорът е конкретен, дава точни данни за студентите, участвали в конкретната академична година в лятната школа по когнитивна наука; обяснено е защо и студенти от първи и втори курс посещават лятната школа, макар тя да е предвидена за студенти в четвърти курс на бакалавърската програма и за магистри. Отговорът в „изкуственото“ интервю съдържа общи постановки, които не се отнасят до осмислянето на конкретни факти. Отговорът се представя схематично с поредица от клиширани фрази. И двата отговора обаче са адекватни на поставения въпрос, съдържат внушение на достоверност на данните. Поставеният въпрос изисква не фактологичен, а оценъчен характер. Маркери за лична оценка се откриват и в двата отговора. Въпрос. 8 изисква представяне на лична позиция на интервюирания. Между отговорите в двете интервюта не се наблюдават статистически значими разлики.

Статистически значима разлика се наблюдава при оценката на отговорите на въпроси 2. („Каква подкрепа е необходима, за да превърнете мечтата за лятна школа в реалност?“) и 3. („Какво мотивира чуждестранните преподаватели да идват от различни краища на света и да изнасят лекции на лятната школа?“), като разликата е в полза на „изкуственото“ интервю, т.е. по всички параметри на скалата са посочени по-високи степени. При тези отговори се наблюдава и висока степен на консистентност при оценките по скалите.

В реалното интервю и при двата въпроса отговорът е значително по-кратък по обем спрямо отговорите от „изкуственото“ интервю. Отговорът на втория въпрос в реалното интервю съдържа не ясно указание на дейностите, необходими за подкрепа на начинанието, а автентичен разказ за изтекли вече събития, в които се описва как е било организирано участието на чуждестранни учени по време на лятната школа по когнитивна наука. При отговора на третия въпрос в реалното интервю отново се акцентира върху вече преживян опит. Подчертават се личната съпричастност, бавният процес на изграждане на мотивирана общност от хора, използва се метафоричен език.

В „изкуственото“ интервю при отговора и на двата въпроса се наблюдава ясно разписване на последователност от дейности, осъществяването на които способства за развиването на лятната школа (финансова подкрепа, експертна подкрепа, маркетингова и публична подкрепа, административна подкрепа) или се изброяват в последователност възможни дейности за мотивиране на чужди експерти (желание за споделяне на знания и опит, професионална мрежа от контакти, лично развитие и изживяване, признание, финансово възнаграждение). Двата отговора в „изкуственото“ интервю съдържат особености на инструкция, която се отнася до планиране на определени дейности, като зад множеството съвети липсва конкретно описание как е възможно да се получи тази подкрепа. Уточнява се каква трябва да бъде, но не и как да се осъществи. В реалното интервю са посочени примери, но не насочени към бъдещи дейности, а към минали събития, като акцентът е поставен върху придобития опит. Отговорите в изкуствените интервюта не са емоционални, не дават конкретни данни, но са изчерпателни и съдържат препоръки с поредица от дейности, което вероятно ги прави предпочетени от изследваните лица.

Подробното описание на възможни бъдещи действия изглежда на студентите по-достоверно и по-целенасочено. Това повдига и въпроса за осмислянето на текста и за това как ще се променят формите, чрез които съществува езикът, какви ще бъдат дълбочината на осмислянето на текст и степента на разпознаване на фалшив и изкуствен език, след като подробен отговор, имитиращ структура на есе и съдържащ поредица от клиширани фрази, лишен от конкретика, получава по-високи стойности от отговора, лишен от препоръки, но насочен към „човешкото“, към осмислянето на идеята като кауза на споделения опит, на предстоящото очакване.

При три от характеристиките в балната скала на въпрос 4. („Случвало ли се е студент, посещавал лятната школа, след време да изнася лекции на същата тази школа?“) се наблюдава статистически значима разлика в полза на реалното интервю. Разлика се наблюдава при характеристика [2] неконкретен (общ) / напълно конкретен, характеристика [4] съмнителен / напълно реалистичен и характеристика [5] незадоволителен / напълно удовлетворяващ. Отговорът в реалното интервю съдържа конкретни факти. Колкото по-фактологично е поднесена информацията, толкова по-силна степен на удовлетвореност създава при възприемането на текста от участниците в експеримента.

Не се наблюдава статистически значима разлика при общата оценка на двете интервюта, което означава, че степента на въздействие и при двете е значително еднаква както по отношение на емоционално въздействие, така и по отношение на провокиран интерес. Тези данни всъщност дават преднина на изкуствения интелект, защото словото му изглежда неотличимо от човешкото при четене и възприемане на текст. Въпреки клишираните фрази неясните конструкции, твърде общото псевдотеоретично говорене „изкуственото“ интервю въздейства при възприемането така, както реалното интервю. Корелационният анализ показва, че при силно емоционално въздействие е налице и силно провокиран интерес при общата оценка.

Отхвърля се първата хипотеза, че цялостното възприемане за „реалност“ или „изкуственост“ е различно. Не се потвърждава и хипотезата, че реалното интервю в цялост се възприема като по-реалистично от „изкуственото“. Предвид сериозното разминаване при статистически значимите разлики не може да се коментират обобщени данни. Разлики се наблюдават по отделните въпроси в двете интервюта. Колкото по-информативен, пространен и фактологичен е отговорът в „изкуственото“ интервю, толкова по-високо се оценява.

Потвърждава се хипотезата, че съществува по-висока степен на доверие към изкуствен интелект при отговори, изискващи теоретично представяне на информация, но се отхвърля хипотезата, че съществува по-ниска степен на емоционално въздействие при отговорите на въпросите от интервюта при изкуствен интелект спрямо отговорите, снети от реалното интервю. Наблюдава се силна корелация при обобщената оценка, като с нарастването на степента на провокиран интерес се повишава и емоционалното въздействие. Тази зависимост е в полза на „изкуственото“ интервю, което означава, че противно на очакването, то може да предизвика и емоционален отговор от страна на читателите.

5. Ограничения на метода

Представеното изследване не може да претендира за универсалност, но задава посоки за размисъл по отношение на възприемането на изкуствено генериран текст. „Изкуственото“ интервю се отличава с нетипичен за българския език словоред, механично калкиране на думи от английски език, но тези факти не будят тревога при изследваните лица.

Възможно е при увеличаване броя на извадката да се повишат стойностите на критично отношение при повече от изследваните компоненти на скалата, което да доведе до тревожни за хуманитарното образование данни за влиянието на речта на изкуствения интелект и силната степен на „търпимост“ към формирането на определен модел на изразяване. При друга тема на интервю и въпроси в него може да се наблюдават различни стойности на оценка на „изкуственото“ интервю.

По време на експеримента беше забелязано, че студентите от филологическите специалности имат по-висока степен на езикова нетърпимост, повлияна от езиковия им усет към „изкуственото“ интервю. Бъдещи изследвания могат да се концентрират върху езиковата страна на произведеното „изкуствено“ интервю и да покажат оценката на изследваните лица по отношение на речта.

Извадката се състои само от студенти, но не са контролирани социалноикономическият контекст на живот и специалността. Тези фактори е възможно да влияят върху резултатите.

ЛИТЕРАТУРА

РАДКОВА, А. 2024. Използването на изкуствен интелект в преподаването на български като чужд. Български език и литература. Т. 66, № 3. https://doi.org/10.53656/bel2024-2-4А.

REFERENCES

LIU, M. Y. 2023. Exploring the Application of Artificial Intelligence in Foreign Language Teaching: Challenges and Future Development. SHS Web of Conferences, vol. 168. EDP Sciences. ISSN 24165182; e-ISSN 22612424. https://doi.org/10.1051/shsconf/202316803025.

RADKOVA, A. 2024. Izpolzvaneto na izkustven intelekt v prepodavaneto na balgarski kato chuzhd. Balgarski ezik i literatura. vol. 66, no. 3. https://doi.org/10.53656/bel2024-2-4A.