В работе рассматривается задача автоматического абстрактивного реферирования русскоязычных научных текстов с использованием локальных больших языковых моделей. Показано, что однопроходная генерация реферата языковой моделью без учета характеристик исходного документа приводит к систематическим типам ошибок: семантической неполноте, механическому копированию, информационной избыточности или недостаточности. Для выявления и устранения указанных недостатков предложена гибридная программная система, реализующая замкнутый контур управления процессом генерации с обратной связью от модуля трехфакторной диагностической оценки качества. Контур осуществляет итерационную коррекцию параметров запроса к языковой модели, таких как температура, количество подаваемых ключевых слов, формат инструкции системного запроса, минимальное и максимальное количество генерируемых токенов, на основе классификации диагностического профиля машинного реферата. В составе диагностической методики предложено асимметричное штрафное преобразование z-нормализованных отклонений, отражающее содержательное различие между избыточностью и недостаточностью лексической, семантической и компрессионной близости реферата к референсному распределению. Описана модульная архитектура системы, включающая модули итерационной генерации рефератов, диагностической оценки и блок автоматического останова итерационного процесса. Приведены результаты экспериментальной апробации на корпусе русскоязычных научных статей, продемонстрирован статистически значимый и устойчивый прирост качества по комбинированной диагностической метрике относительно однопроходной базовой линии на отложенной тестовой выборке.
This paper examines the problem of automatic abstract summarization of Russian-language scientific texts using local large-scale language models. It is shown that single-pass abstract generation by a language model without taking into account the characteristics of the source document leads to systematic errors: semantic incompleteness, mechanical copying, and information redundancy or insufficiency. To identify and eliminate these deficiencies, a hybrid software system is proposed that implements a closed-loop control system for the abstract generation process with feedback from a three-factor diagnostic quality assessment module. The system iteratively adjusts query parameters to the language model, such as temperature, the number of submitted keywords, the format of the system query instruction, and the minimum and maximum number of generated tokens, based on the classification of the generated abstract diagnostic profile. The diagnostic methodology proposed includes an asymmetric penalty transformation of z-normalized deviations, reflecting the substantive difference between redundancies and insufficiencies in the lexical, semantic, and compressional proximity of an abstract to the reference distribution. The system's modular architecture is described, including modules for iterative abstract generation, diagnostic evaluation, and an automatic iteration process stop block. The results of experimental testing on a corpus of Russian-language scientific articles are presented, demonstrating a statistically significant and sustainable increase in quality for the combined diagnostic metric relative to a single-pass baseline on a delayed test sample.
The authors declare that there are no conflicts of interest present.