<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Publishing DTD v1.3 20210610//EN" "JATS-journalpublishing1-3.dtd">
<article article-type="research-article" dtd-version="1.3" xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xml:lang="ru"><front><journal-meta><journal-id journal-id-type="publisher-id">humanitieslaw</journal-id><journal-title-group><journal-title xml:lang="ru">Гуманитарные и юридические исследования</journal-title><trans-title-group xml:lang="en"><trans-title>Humanities and law research</trans-title></trans-title-group></journal-title-group><issn pub-type="ppub">2409-1030</issn><publisher><publisher-name>North-Caucasus Federal University</publisher-name></publisher></journal-meta><article-meta><article-id pub-id-type="doi">10.37493/2409-1030.2024.2.21</article-id><article-id custom-type="elpub" pub-id-type="custom">humanitieslaw-1427</article-id><article-categories><subj-group subj-group-type="heading"><subject>Research Article</subject></subj-group><subj-group subj-group-type="section-heading" xml:lang="ru"><subject>ФИЛОЛОГИЧЕСКИЕ НАУКИ</subject></subj-group><subj-group subj-group-type="section-heading" xml:lang="en"><subject>PHILOLOGICAL SCIENCES</subject></subj-group></article-categories><title-group><article-title>Композиционно-структурные, семантические и пресуппозиционально-прагматические параметры и дефекты сгенерированных коротких текстов в языковой нейросети GigaChat</article-title><trans-title-group xml:lang="en"><trans-title>Compositional-structural, semantic and presuppositional-pragmatic parameters and defects of generated short texts in the GigaChat language neural network</trans-title></trans-title-group></title-group><contrib-group><contrib contrib-type="author" corresp="yes"><contrib-id contrib-id-type="orcid">https://orcid.org/0009-0000-9245-2255</contrib-id><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Гусаренко</surname><given-names>С. В.</given-names></name><name name-style="western" xml:lang="en"><surname>Gusarenko</surname><given-names>S. V.</given-names></name></name-alternatives><bio xml:lang="ru"><p>Сергей Викторович Гусаренко - Доктор филологических наук, профессор.</p><p>Д.1, ул. Пушкина, Ставрополь, 355017</p></bio><bio xml:lang="en"><p>Sergey V. Gusarenko - Dr. Sc. (Philology), Professor.</p><p>1, Pushkina St., Stavropol, 355017</p></bio><email xlink:type="simple">sgusarenko@mail.ru</email><xref ref-type="aff" rid="aff-1"/></contrib><contrib contrib-type="author" corresp="yes"><contrib-id contrib-id-type="orcid">https://orcid.org/0009-0005-9312-8621</contrib-id><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Гусаренко</surname><given-names>М. К.</given-names></name><name name-style="western" xml:lang="en"><surname>Gusarenko</surname><given-names>M. K.</given-names></name></name-alternatives><bio xml:lang="ru"><p>Марина Константиновна Гусаренко - Кандидат филологических наук, доцент.</p><p>Д.1, ул. Пушкина, Ставрополь, 355017</p></bio><bio xml:lang="en"><p>Marina K. Gusarenko - Cand. Sc. (Philology), Associate Professor.</p><p>1, Pushkina St., Stavropol, 355017</p></bio><email xlink:type="simple">mkgusarenko@mail.ru</email><xref ref-type="aff" rid="aff-1"/></contrib></contrib-group><aff-alternatives id="aff-1"><aff xml:lang="ru"><institution>Северо-Кавказский федеральный университет</institution><country>Россия</country></aff><aff xml:lang="en"><institution>North-Caucasus Federal University</institution><country>Russian Federation</country></aff></aff-alternatives><pub-date pub-type="collection"><year>2024</year></pub-date><pub-date pub-type="epub"><day>26</day><month>09</month><year>2024</year></pub-date><volume>11</volume><issue>2</issue><fpage>368</fpage><lpage>379</lpage><permissions><copyright-statement>Copyright &amp;#x00A9; Гусаренко С.В., Гусаренко М.К., 2024</copyright-statement><copyright-year>2024</copyright-year><copyright-holder xml:lang="ru">Гусаренко С.В., Гусаренко М.К.</copyright-holder><copyright-holder xml:lang="en">Gusarenko S.V., Gusarenko M.K.</copyright-holder><license xml:lang="ru" license-type="creative-commons-attribution" xlink:href="https://creativecommons.org/licenses/by/4.0/" xlink:type="simple"><license-p>Данная работа распространяется под лицензией Creative Commons Attribution 4.0.</license-p></license><license xml:lang="en" license-type="creative-commons-attribution" xlink:href="https://creativecommons.org/licenses/by/4.0/" xlink:type="simple"><license-p>This work is licensed under a Creative Commons Attribution 4.0 License.</license-p></license></permissions><self-uri xlink:href="https://humanitieslaw.ncfu.ru/jour/article/view/1427">https://humanitieslaw.ncfu.ru/jour/article/view/1427</self-uri><abstract><sec><title>Введение</title><p>Введение. Актуальность выполненного исследования состоит прежде всего в том, что все более активное обращение самых широких кругов пользователей к генерации текстов разных жанров, свойств и объёмов с помощью так называемых LLM (Large Language Model, Большая Языковая Модель, БЯМ) порождает необходимость изучения собственно лингвистических возможностей этих генеративных моделей, в том числе необходимость лингвистического исследования порождаемых ими текстов. Немаловажным также представляется тот факт, что большое количество специалистов из разных областей деятельности активно используют генеративные возможности языковых нейросетей в своих сугубо профессиональных целях, из чего следует, что качество генерируемых текстов приобрело статус производственного фактора и непосредственным образом влияет на успех в профессиональной деятельности, что также указывает на актуальность предпринятого нами исследования.</p></sec><sec><title>Материалы и методы</title><p>Материалы и методы. В качестве объекта исследования были избраны тексты коротких рассказов, поскольку в определенном отношении такого рода тексты могут рассматриваться как архетипические структуры, лежащие в основе текстов некоторых функциональных типов (сценарии, рекламные тексты, рассказы).</p></sec><sec><title>Анализ</title><p>Анализ. Такое положение дел потребовало изучения сгенерированных рассказов в том числе в аспекте репрезентации в нём фреймовых структур, поскольку это позволяет составить представление о том, как устроены тексты этого типа с точки зрения стандартной языковой семантики, включая синтаксическую семантику.</p></sec><sec><title>Результаты</title><p>Результаты. Установлено, что при всей грамматической, структурно-семантической и композиционной адекватности, сгенерированные в GigaChatPro тексты коротких рассказов, созданные сетью на определенную тему или по определенному фрейму, могут содержать нарушения в глобально-семантической организации, порожденные как пресуппозициональнопрагматическими нарушениями, так и нарушениями текстовой референции. Отмечены также нарушения в общей функциональной прагматике сгенерированных рассказов: выраженная назидательность, длина предложений в них – 5-7 слов свойственны рассказам для детей младшего школьного возраста, при том, что темы этих рассказов изначально не соответствуют их возрастным интересам.</p></sec></abstract><trans-abstract xml:lang="en"><sec><title>Introduction</title><p>Introduction. The relevance of the study lies primarily in the fact that the increasingly active appeal of the widest circles of users to the generation of texts of different genres, properties and volumes using the so-called LLM (Large Language Model) creates the need to study the actual linguistic capabilities of these generative models, including the need for linguistic research of the texts they generate. It is also important that a large number of specialists from different fields actively use the generative capabilities of linguistic neural networks for purely professional purposes, which means that the quality of generated texts has acquired the status of a production factor and directly affects success in professional activities, which also indicates the relevance of our research.</p></sec><sec><title>Materials and Methods</title><p>Materials and Methods. The texts of short stories were chosen as the object of study, since in a certain respect, such texts can be considered as archetypal structures that underlie texts of certain functional types (scripts, advertising texts and stories).</p></sec><sec><title>Analysis</title><p>Analysis. This state of affairs requires studying the generated stories, including in the aspect of the representation of frame structures in it, since this will allow us to get an idea of how texts of this type are structured from the point of view of standard linguistic semantics, including syntactic semantics.</p></sec><sec><title>Results</title><p>Results. It has been established that, despite all grammatical, structural-semantic and compositional adequacy, the texts of short stories generated in GigaChatPro, created by the network on a certain topic or according to a certain frame, may contain violations in global semantic organization, generated by both presuppositional-pragmatic violations and violations in text reference. Violations in the general functional pragmatics of the generated stories were also noted: pronounced edification and the length of sentences up to 5-7 words are characteristic of stories for children of primary school age, despite the fact that the themes of these stories initially do not correspond to their age interests.</p></sec></trans-abstract><kwd-group xml:lang="ru"><kwd>текст</kwd><kwd>генерация</kwd><kwd>LLM</kwd><kwd>языковая модель</kwd><kwd>нейросеть</kwd><kwd>семантический</kwd><kwd>прагматический</kwd><kwd>дефект</kwd><kwd>галлюцинация</kwd></kwd-group><kwd-group xml:lang="en"><kwd>text</kwd><kwd>generation</kwd><kwd>LLM</kwd><kwd>Large Language Model</kwd><kwd>neural network</kwd><kwd>semantic</kwd><kwd>pragmatic</kwd><kwd>defect</kwd><kwd>hallucination</kwd></kwd-group></article-meta></front><back><ref-list><title>References</title><ref id="cit1"><label>1</label><citation-alternatives><mixed-citation xml:lang="ru">Арутюнова Н. Д. Предложение и его смысл: логико-семантические проблемы: монография. М.: Наука, 1976. 383 с.</mixed-citation><mixed-citation xml:lang="en">Arutyunova, ND. The sentence and its meaning: logical-semantic problems: monograph. Moscow: Nauka; 1976. 383 p. (In Russ.).</mixed-citation></citation-alternatives></ref><ref id="cit2"><label>2</label><citation-alternatives><mixed-citation xml:lang="ru">Гусаренко С. В., Гусаренко М. К. Предикатно-фреймовое описание линейной семантики художественного нарратива // Филологические науки. 2020. № 3. С. 18–30.</mixed-citation><mixed-citation xml:lang="en">Gusarenko SV, Gusarenko MK. Predicate-frame description of the linear semantics of artistic narrative. Filologicheskie nauki. 2020;3:18-30. (In Russ.)</mixed-citation></citation-alternatives></ref><ref id="cit3"><label>3</label><citation-alternatives><mixed-citation xml:lang="ru">Дейк Т. А. ван, Кинч В. Стратегии понимания связного текста // Новое в зарубежной лингвистике: Когнитивные аспекты языка. 1988. Вып. XXIII. С. 153-211.</mixed-citation><mixed-citation xml:lang="en">Deik TA van, Kinch V. Strategies for understanding a coherent text. Novoe v zarubezhnoi lingvistike: Kognitivnye aspekty yazyka. 1988;XXIII:153-211. (In Russ.).</mixed-citation></citation-alternatives></ref><ref id="cit4"><label>4</label><citation-alternatives><mixed-citation xml:lang="ru">Демченков С. А., Федяева Н. Д. Вербальный хеппенинг: о некоторых моделях компьютерной генерации текстов в аспекте авангардной поэтики // Humanitarian Vector. 2020. Том 15. № 1. С. 27-37.</mixed-citation><mixed-citation xml:lang="en">Demchenkov SA, Fedyaeva ND. Verbal happening: about some models of computer generation of texts in the aspect of avantgarde poetics. Humanitarian Vector. 2020;15;1:27-37. (In Russ.).</mixed-citation></citation-alternatives></ref><ref id="cit5"><label>5</label><citation-alternatives><mixed-citation xml:lang="ru">Ильф И., Петров Е. Двенадцать стульев. Золотой теленок: Романы. Записные книжки. М.: Эксмо, 2007. 640 с.</mixed-citation><mixed-citation xml:lang="en">Il'f I, Petrov E. The twelve Chairs. The Golden Calf: Novels. Notebooks. Moscow: Eksmo; 2007. 640 p. (In Russ.).</mixed-citation></citation-alternatives></ref><ref id="cit6"><label>6</label><citation-alternatives><mixed-citation xml:lang="ru">Козловский А. В., Мельник Я. Э., Волощук В. И. О подходе для автоматической генерации сюжетно связанного текста // Известия ТулГУ. 2022. Вып. 9. С. 160-167.</mixed-citation><mixed-citation xml:lang="en">Kozlovskii AV, Mel'nik YaE, Voloshchuk VI. About the approach for automatic generation of plot-related text). Izvestiya TulGU. 2022;9:160-167. (In Russ.).</mixed-citation></citation-alternatives></ref><ref id="cit7"><label>7</label><citation-alternatives><mixed-citation xml:lang="ru">Кривошеев Н. А., Иванова Ю. А., Спицын В. Г. Автоматическая генерация коротких текстов на основе применения нейронных сетей LSTM и SecGAN // Вестник Томского государственного университета. 2021. № 57. С. 118-130.</mixed-citation><mixed-citation xml:lang="en">Krivosheev NA, Ivanova YuA, Spitsyn VG. Automatic generation of short texts based on the use of LSTM and SecGAN neural networks. Vestnik Tomskogo gosudarstvennogo universiteta. 2021;57:118-130. (In Russ.).</mixed-citation></citation-alternatives></ref><ref id="cit8"><label>8</label><citation-alternatives><mixed-citation xml:lang="ru">Кучина С. А. Электронные генеративные художественные тексты // Вестник ТГПУ (TSPU Bulletin). 2017. Вып. 6 (183). С. 49-55.</mixed-citation><mixed-citation xml:lang="en">Kuchina SA. Electronic generative literary texts. Vestnik TGPU (TSPU Bulletin). 2017;6(183):49-55. (In Russ.).</mixed-citation></citation-alternatives></ref><ref id="cit9"><label>9</label><citation-alternatives><mixed-citation xml:lang="ru">Пропп В. Я. Морфология волшебной сказки: монография. М.: Лабиринт, 2001. 192 с.</mixed-citation><mixed-citation xml:lang="en">Propp VYa. Morphology of a fairy tale. Moscow: Labirint; 2001. 192 p. (In Russ.).</mixed-citation></citation-alternatives></ref><ref id="cit10"><label>10</label><citation-alternatives><mixed-citation xml:lang="ru">GigaChat – русскоязычная нейросеть от Сбера. URL: https://developers.sber.ru/gigachat/login (дата обращения: 26.02.2024)</mixed-citation><mixed-citation xml:lang="en">GigaChat – Russian-language neural network from Sber. URL: https://developers.sber.ru/gigachat/login (accessed: 26.02.2024). (In Russ.).</mixed-citation></citation-alternatives></ref><ref id="cit11"><label>11</label><citation-alternatives><mixed-citation xml:lang="ru">Столнейкер Р. Прагматика // Новое в зарубежной лингвистике: Лингвистическая прагматика. Вып. XVI. 1985. С. 419-438.</mixed-citation><mixed-citation xml:lang="en">Stolneiker R. Pragmatics. Novoe v zarubezhnoi lingvistike: Lingvisticheskaya pragmatika. 1985;XVI:419-438. (In Russ.)</mixed-citation></citation-alternatives></ref><ref id="cit12"><label>12</label><citation-alternatives><mixed-citation xml:lang="ru">Токарева И. А. Структурно-семантическая модель семантико-синтаксического фрейма // Казанский лингвистический журнал. Т. 5. 2022. № 4. С. 547-558.</mixed-citation><mixed-citation xml:lang="en">Tokareva IA. Structural-semantic model of semantic-syntactic frame. Kazanskii lingvisticheskii zhurnal. 2022;5;4:547-558. (In Russ.).</mixed-citation></citation-alternatives></ref><ref id="cit13"><label>13</label><citation-alternatives><mixed-citation xml:lang="ru">GigaChatPro. URL: https://web.telegram.org/a/#6218783903 (accessed: 15.12.2023).</mixed-citation><mixed-citation xml:lang="en">GigaChatPro. URL: https://web.telegram.org/a/#6218783903 (accessed: 15.12.2023).</mixed-citation></citation-alternatives></ref><ref id="cit14"><label>14</label><citation-alternatives><mixed-citation xml:lang="ru">Goloviznina V., Fishcheva I., Peskisheva T., Kotelnikov E. Aspect-based Argument Generation in Russian // Computational Linguistics and Intellectual Technologies: Papers from the Annual International Conference “Dialogue”. (2023). Issue 22. URL: https://www.dialog-21.ru/digest/2023/articles/ (accessed: 15.02.2023).</mixed-citation><mixed-citation xml:lang="en">Goloviznina V, Fishcheva I, Peskisheva T, Kotelnikov E. Aspect-based Argument Generation in Russian in Computational Linguistics and Intellectual Technologies: Papers from the Annual International Conference “Dialogue”. (2023). Issue 22. URL: https://www.dialog-21.ru/digest/2023/articles/ (accessed: 15.02.2024).</mixed-citation></citation-alternatives></ref><ref id="cit15"><label>15</label><citation-alternatives><mixed-citation xml:lang="ru">Ji Z., Lee N., Frieske R., Yu T., Su D., Xu Y., Ishii E., Bang Y., Chen D., Chan H.S., Dai W., Madotto A., Fung P. Survey of hallucination in natural language generation // ACM Computing Surveys. Vol. 1. No. 1. Article. URL: https://www.semanticscholar.org/search?q=Survey%20of%20hallucination%20in%20natural%20%generation&amp;sort=r=relevance (accessed: 15.02.2023)</mixed-citation><mixed-citation xml:lang="en">Ji Z, Lee N, Frieske R, Yu T, Su D, Xu Y, Ishii E, Bang Y, Chen D, Chan HS, Dai W, Madotto A, Fung P. Survey of hallucination in natural language generation in ACM Computing Surveys. Vol. 1. No. 1. Article. URL: https://www. semanticschol-ar.org/search?q=Survey%20of%20hallucination%20in%20natural%20language%20generation&amp;sort=relevance (accessed: 15.02.2024).</mixed-citation></citation-alternatives></ref><ref id="cit16"><label>16</label><citation-alternatives><mixed-citation xml:lang="ru">Maynez J., Narayan S., Bohnet B., Mcdonald R. T. On Faithfulness and Factuality in Abstractive Summarization // Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. 2020. P. 1906–1919.</mixed-citation><mixed-citation xml:lang="en">Maynez J, Narayan S, Bohnet B, Mcdonald RT. On Faithfulness and Factuality in Abstractive Summarization in Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. 2020. P. 1906-1919.</mixed-citation></citation-alternatives></ref><ref id="cit17"><label>17</label><citation-alternatives><mixed-citation xml:lang="ru">Mikhaylovskiy N., Churilov I. Autocorrelations Decay in Texts and Applicability Limits of Language Models // Computational Linguistics and Intellectual Technologies: Papers from the Annual International Conference “Dialogue”. (2023). Issue 22. URL: https://www.dialog-21.ru/digest/2023/articles/ (accessed: 15.02.2023).</mixed-citation><mixed-citation xml:lang="en">Mikhaylovskiy N, Churilov I. Autocorrelations Decay in Texts and Applicability Limits of Language Models in Computational Linguistics and Intellectual Technologies: Papers from the Annual International Conference “Dialogue”. (2023). Issue 22. URL: https://www.dialog-21.ru/digest/2023/articles/ (accessed: 15.02.2024).</mixed-citation></citation-alternatives></ref><ref id="cit18"><label>18</label><citation-alternatives><mixed-citation xml:lang="ru">Ostyakova L, Petukhova K., Smilga V., Zharikova D. Linguistic Annotation Generation with ChatGPT: a Synthetic Dataset of Speech Functions for Discourse Annotation of Casual Conversations // Computational Linguistics and Intellectual Technologies: Papers from the Annual International Conference “Dialogue” (2023). Issue 22. URL: https://www.dialog-21.ru/digest/2023/articles/ (accessed: 15.02.2023).</mixed-citation><mixed-citation xml:lang="en">Ostyakova L, Petukhova K, Smilga V, Zharikova D. Linguistic Annotation Generation with ChatGPT: a Synthetic Dataset of Speech Functions for Discourse Annotation of Casual Conversations in Computational Linguistics and Intellectual Technologies: Papers from the Annual International Conference “Dialogue” (2023). Issue 22. URL: https://www.dialog-21.ru/digest/2023/articles/ (accessed: 15.02.2024).</mixed-citation></citation-alternatives></ref><ref id="cit19"><label>19</label><citation-alternatives><mixed-citation xml:lang="ru">Vychegzhanin S., Kotelnikova A., Sergeev A., Kotelnikov E. MaxProb: Controllable Story Generation from Storyline // Computational Linguistics and Intellectual Technologies: Papers from the Annual International Conference “Dialogue”. (2023). Issue 22. URL: https://www.dialog-21.ru/digest/2023/articles/ (accessed: 15.02.2023).</mixed-citation><mixed-citation xml:lang="en">Vychegzhanin S, Kotelnikova A, Sergeev A, Kotelnikov E. MaxProb: Controllable Story Generation from Storyline in Computational Linguistics and Intellectual Technologies: Papers from the Annual International Conference “Dialogue” (2023). Issue 22. URL: https://www.dialog-21.ru/digest/2023/articles/ (accessed: 15.02.2024).</mixed-citation></citation-alternatives></ref></ref-list><fn-group><fn fn-type="conflict"><p>The authors declare that there are no conflicts of interest present.</p></fn></fn-group></back></article>
