Композиционно-структурные, семантические и пресуппозиционально-прагматические параметры и дефекты сгенерированных коротких текстов в языковой нейросети GigaChat

Введение. Актуальность выполненного исследования состоит прежде всего в том, что все более активное обращение самых широких кругов пользователей к генерации текстов разных жанров, свойств и объёмов с помощью так называемых LLM (Large Language Model, Большая Языковая Модель, БЯМ) порождает необходимость изучения собственно лингвистических возможностей этих генеративных моделей, в том числе необходимость лингвистического исследования порождаемых ими текстов. Немаловажным также представляется тот факт, что большое количество специалистов из разных областей деятельности активно используют генеративные возможности языковых нейросетей в своих сугубо профессиональных целях, из чего следует, что качество генерируемых текстов приобрело статус производственного фактора и непосредственным образом влияет на успех в профессиональной деятельности, что также указывает на актуальность предпринятого нами исследования.

Материалы и методы. В качестве объекта исследования были избраны тексты коротких рассказов, поскольку в определенном отношении такого рода тексты могут рассматриваться как архетипические структуры, лежащие в основе текстов некоторых функциональных типов (сценарии, рекламные тексты, рассказы).

Анализ. Такое положение дел потребовало изучения сгенерированных рассказов в том числе в аспекте репрезентации в нём фреймовых структур, поскольку это позволяет составить представление о том, как устроены тексты этого типа с точки зрения стандартной языковой семантики, включая синтаксическую семантику.

Результаты. Установлено, что при всей грамматической, структурно-семантической и композиционной адекватности, сгенерированные в GigaChatPro тексты коротких рассказов, созданные сетью на определенную тему или по определенному фрейму, могут содержать нарушения в глобально-семантической организации, порожденные как пресуппозициональнопрагматическими нарушениями, так и нарушениями текстовой референции. Отмечены также нарушения в общей функциональной прагматике сгенерированных рассказов: выраженная назидательность, длина предложений в них – 5-7 слов свойственны рассказам для детей младшего школьного возраста, при том, что темы этих рассказов изначально не соответствуют их возрастным интересам.

1. Арутюнова Н. Д. Предложение и его смысл: логико-семантические проблемы: монография. М.: Наука, 1976. 383 с.

2. Гусаренко С. В., Гусаренко М. К. Предикатно-фреймовое описание линейной семантики художественного нарратива // Филологические науки. 2020. № 3. С. 18–30.

3. Дейк Т. А. ван, Кинч В. Стратегии понимания связного текста // Новое в зарубежной лингвистике: Когнитивные аспекты языка. 1988. Вып. XXIII. С. 153-211.

4. Демченков С. А., Федяева Н. Д. Вербальный хеппенинг: о некоторых моделях компьютерной генерации текстов в аспекте авангардной поэтики // Humanitarian Vector. 2020. Том 15. № 1. С. 27-37.

5. Ильф И., Петров Е. Двенадцать стульев. Золотой теленок: Романы. Записные книжки. М.: Эксмо, 2007. 640 с.

6. Козловский А. В., Мельник Я. Э., Волощук В. И. О подходе для автоматической генерации сюжетно связанного текста // Известия ТулГУ. 2022. Вып. 9. С. 160-167.

7. Кривошеев Н. А., Иванова Ю. А., Спицын В. Г. Автоматическая генерация коротких текстов на основе применения нейронных сетей LSTM и SecGAN // Вестник Томского государственного университета. 2021. № 57. С. 118-130.

8. Кучина С. А. Электронные генеративные художественные тексты // Вестник ТГПУ (TSPU Bulletin). 2017. Вып. 6 (183). С. 49-55.

9. Пропп В. Я. Морфология волшебной сказки: монография. М.: Лабиринт, 2001. 192 с.

10. GigaChat – русскоязычная нейросеть от Сбера. URL: https://developers.sber.ru/gigachat/login (дата обращения: 26.02.2024)

11. Столнейкер Р. Прагматика // Новое в зарубежной лингвистике: Лингвистическая прагматика. Вып. XVI. 1985. С. 419-438.

12. Токарева И. А. Структурно-семантическая модель семантико-синтаксического фрейма // Казанский лингвистический журнал. Т. 5. 2022. № 4. С. 547-558.

13. GigaChatPro. URL: https://web.telegram.org/a/#6218783903 (accessed: 15.12.2023).

14. Goloviznina V., Fishcheva I., Peskisheva T., Kotelnikov E. Aspect-based Argument Generation in Russian // Computational Linguistics and Intellectual Technologies: Papers from the Annual International Conference “Dialogue”. (2023). Issue 22. URL: https://www.dialog-21.ru/digest/2023/articles/ (accessed: 15.02.2023).

15. Ji Z., Lee N., Frieske R., Yu T., Su D., Xu Y., Ishii E., Bang Y., Chen D., Chan H.S., Dai W., Madotto A., Fung P. Survey of hallucination in natural language generation // ACM Computing Surveys. Vol. 1. No. 1. Article. URL: https://www.semanticscholar.org/search?q=Survey%20of%20hallucination%20in%20natural%20%generation&sort=r=relevance (accessed: 15.02.2023)

16. Maynez J., Narayan S., Bohnet B., Mcdonald R. T. On Faithfulness and Factuality in Abstractive Summarization // Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. 2020. P. 1906–1919.

17. Mikhaylovskiy N., Churilov I. Autocorrelations Decay in Texts and Applicability Limits of Language Models // Computational Linguistics and Intellectual Technologies: Papers from the Annual International Conference “Dialogue”. (2023). Issue 22. URL: https://www.dialog-21.ru/digest/2023/articles/ (accessed: 15.02.2023).

18. Ostyakova L, Petukhova K., Smilga V., Zharikova D. Linguistic Annotation Generation with ChatGPT: a Synthetic Dataset of Speech Functions for Discourse Annotation of Casual Conversations // Computational Linguistics and Intellectual Technologies: Papers from the Annual International Conference “Dialogue” (2023). Issue 22. URL: https://www.dialog-21.ru/digest/2023/articles/ (accessed: 15.02.2023).

19. Vychegzhanin S., Kotelnikova A., Sergeev A., Kotelnikov E. MaxProb: Controllable Story Generation from Storyline // Computational Linguistics and Intellectual Technologies: Papers from the Annual International Conference “Dialogue”. (2023). Issue 22. URL: https://www.dialog-21.ru/digest/2023/articles/ (accessed: 15.02.2023).