Функционально-семантические, макроструктурные и пресуппозиционально-прагматические параметры сгенерированных русскоязычных текстов в лингвистических нейросетях GigaChat, ChatGPT Марти и Яндекс Алиса

Введение. Цель статьи состоит в определении и сопоставлении лингвистических характеристик коротких русскоязычных текстов разных жанров, сгенерированных в языковых нейросетях GigaChat, ChatGPT Марти и Яндекс Алиса. Актуальность исследования состоит в том, что изучение лингвистических характеристик сгенерированных текстов позволило сделать выводы о таких характеристиках названных языковых нейросетей, как способность к построению микротестов по заданным в промпте семантическим параметрам, способность избирать контекстуально релевантные значения слов в тематическом наборе дефиниций, способность к построению текста критической интерпретации высказывания.
Материалы и методы. В качестве материала исследования избраны порожденные названными выше нейросетями языковые выражения и короткие тексты разной функциональной принадлежности – от предложения и семантической дефиниции слова до текста-обоснования собственного ответа нейросети. В качестве основных использовались метод макроструктурного анализа, метод лексико-семантического анализа, метод грамматического анализа, метод стилистического анализа, метод семантико-прагматического анализа.
Анализ. Исследование проводилось по следующему плану: 1) анализ сгенерированных дефиниций слов и предложений, построенных нейросетями из этих дефиниций, 2) анализ сгенерированных контекстуальных дефиниций, 3) анализ сгенерированных коротких текстов на предмет их функционально-семантической адекватности.
Результаты. Работа с тематически связанными дефинициями, сгенерированными названными нейросетями, позволила установить, что данные языковые модели в состоянии согласовывать определения слов с контекстом, не являющимся собственно текстом, то есть могут без специального задания в промте, но исходя из перечня слов в нём, определять тему и давать дефиниции по этой теме. В ходе изучения способности языковых нейросетей давать оценку категориальной и референциальной достоверности высказываний установлено, что все три нейросети оказались в состоянии дать правильные мотивированные ответы, за одним исключением, когда нейросеть указала нехватку информации. В ходе изучения текстов, сгенерированных названными языковыми нейросетями, были выявлены пять основных типов нарушений (дефектов) в них, которые могут квалифицироваться как типичные для этих нейросетей: 1) нарушения логико-семантических связей в тексте, выполнение ложных семантических операций; 2) нарушения бытийных прагматических пресуппозиций (знания о мире, о свойствах предметов); 3) нарушения коммуникативно-прагматических правил речевого поведения; 4) грамматические отклонения в управлении и согласовании; 5) макроструктурные нарушения.

1. Арутюнова Н. Д. Предложение и его смысл: логико-семантические проблемы: монография. М.: Наука, 1976. 383 с.

2. Грайс Г. П. Логика и речевое общение // Новое в зарубежной лингвистике: Лингвистическая прагматика. Вып. XVI. М.: Прогресс, 1985. С. 217–237.

3. Гусаренко С. В. Дефекты когнитивно-семантических структур как причина высокой энтропии актуального дискурса // Известия Южного федерального университета. Филологические науки. 2009. №2. С. 68–74.

4. Дейк Т. А. ван, Кинч В. Стратегии понимания связного текста // Новое в зарубежной лингвистике: Когнитивные аспекты языка. 1988. Вып. XXIII. С. 153–211.

5. Столнейкер Р. Прагматика // Новое в зарубежной лингвистике: Лингвистическая прагматика. Вып. XVI. 1985. С. 419–438.

6. Цвигун Т. В., Черняков А. Н. Хармс vs НейроХармс: нейросеть как лаборатория нарратива // Новый филологический вестник. 2023. № 4. С. 80-92.

7. Яндекс Алиса. URL: https://a.ya.ru/ (дата обращения: 15.02.2024).

8. ChatGPT Марти. URL: https://web.telegram.org/a/#6139209801 (accessed: 15.02.2024).

9. GigaChat. URL: https://web.telegram.org/a/#6218783903 (accessed: 15.02.2024).

10. Luo J., Xiao C., Ma F. Zero-Resource Hallucination Prevention for Large Language Models. URL: https://www.researchgate.net/publication/373715030_Zero-Resource_Hallucination_Prevention_for_Large _Language_Models. (accessed: 26.02.2024).

11. Lipkin B.,Wong L.,Grand G.,Tenenbaum J. B. Evaluating statistical language models as pragmatic reasoners. URL: https://www.researchgate.net/publication/370469496_Evaluating_statistical_language_models_as_pragmatic_reasoners. (accessed: 26.02.2024)

12. McKenna N., Li T., Cheng L., Hosseini M.J., Johnson M., Steedman M. Sources of Hallucination by Large Language Models on Inference Tasks. URL: https://www.researchgate.net/publication/371009111_Sources_of_Hallucination_by_Large_Language_Models_on_Inference_Tasks. (accessed: 26.02.2024).

13. Margolina А., Kolmogorova А. Exploring Evaluation Techniques in Controlled Text Generation: A Comparative Study of Semantics and Sentiment in ruGPT3large-Generated and Human-Written Movie Reviews // Computational Linguistics and Intellectual Technologies: Proceedings of the International Conference “Dialogue 2023” (Moscow, June 14–17, 2023). URL: https://www.dialog-21.ru/media/5874/margolinaapluskolmogorovaa052.pdf. (accessed: 26.02.2024).

14. Oluwaseyi J, Odu A. Exploring models that learn the structure and semantics of language to generate coherent text. URL: https://www.researchgate.net/publication/377111766_Exploring_models_that_learn_the_structure_and_semantics_of_language_to_generate_coherent_text_Author. (accessed: 26.02.2024).

15. Rawte V., Priya P., Tonmoy S. M. T. Zaman S. M. M., Chadha A., Sheth A., Das A. "Sorry, Come Again?" Prompting - Enhancing Comprehension and Diminishing Hallucination with [PAUSE] -injected Optimal Paraphrasing. URL: https://www.researchgate.net/publication/379372849_Sorry_Come_Again_Prompting_-Enhancing_Comprehension_and_Diminishing_Hallucination_ with_PAUSE_-injected_Optimal_Paraphrasing. (accessed: 26.02.2024).

16. Stoyanova Berbatova M., Salambashev Y., Evaluating Hallucinations in Large Language Models for Bulgarian Language. URL: https://www.researchgate.net/publication/373894930_Evaluating_Hallucinations_in_Large_Language_Models_for_Bulgarian_Language. (accessed: 26.02.2024).

17. Tang R., Chuang Y.N., Hu X. The Science of Detecting LLM-Generated Texts. URL: https://www.researchgate.net/publication/368684822_The_Science _of_Detecting_LLM-Generated_Texts. (accessed: 26.02.2024).

18. Turganbay R., Surkov V., Evseev D., Drobyshevskiy M. Generative Question Answering Systems over Knowledge Graphs and Text. URL: https://www.dialog-21.ru/media/5878/turganbayrplusetal043.pdf. (accessed: 26.02.2024).

19. Zhang Y., Li Y., Cui L., Cai D. Siren's Song in the AI Ocean: A Survey on Hallucination in Large Language Models. URL: https://www.researchgate.net/publication/373686208_Siren's_Song_in_the_AI_Ocean_A_Survey_on_Hallucination_in_Large_Language_Models. (accessed: 26.02.2024).