<?xml version="1.0" encoding="UTF-8"?>
<article article-type="research-article" dtd-version="1.3" xml:lang="ru" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:noNamespaceSchemaLocation="https://metafora.rcsi.science/xsd_files/journal3.xsd">
  <front>
    <journal-meta>
      <journal-id journal-id-type="publisher-id">moitvivt</journal-id>
      <journal-title-group>
        <journal-title xml:lang="ru">Моделирование, оптимизация и информационные технологии</journal-title>
        <trans-title-group xml:lang="en">
          <trans-title>Modeling, Optimization and Information Technology</trans-title>
        </trans-title-group>
      </journal-title-group>
      <issn pub-type="epub">2310-6018</issn>
      <publisher>
        <publisher-name>Издательство</publisher-name>
      </publisher>
    </journal-meta>
    <article-meta>
      <article-id pub-id-type="doi">10.26102/2310-6018/2021.32.1.010</article-id>
      <article-id pub-id-type="custom" custom-type="elpub">912</article-id>
      <title-group>
        <article-title xml:lang="ru">Обработка текстов и подготовка моделей векторизации для программного комплекса классификации научных текстов</article-title>
        <trans-title-group xml:lang="en">
          <trans-title>Word processing and preparation of vectorization models for a software package for the classification of scientific texts</trans-title>
        </trans-title-group>
      </title-group>
      <contrib-group>
        <contrib contrib-type="author" corresp="yes">
          <contrib-id contrib-id-type="orcid">0000-0002-3752-0152</contrib-id>
          <name-alternatives>
            <name name-style="eastern" xml:lang="ru">
              <surname>Гусев</surname>
              <given-names>Павел Юрьевич</given-names>
            </name>
            <name name-style="western" xml:lang="en">
              <surname>Gusev</surname>
              <given-names>Pavel Yrievich</given-names>
            </name>
          </name-alternatives>
          <email>gusevpvl@gmail.com</email>
          <xref ref-type="aff">aff-1</xref>
        </contrib>
      </contrib-group>
      <aff-alternatives id="aff-1">
        <aff xml:lang="ru">Воронежский государственный технический университет</aff>
        <aff xml:lang="en">Voronezh State Technical University</aff>
      </aff-alternatives>
      <pub-date pub-type="epub">
        <day>01</day>
        <month>01</month>
        <year>2026</year>
      </pub-date>
      <volume>1</volume>
      <issue>1</issue>
      <elocation-id>10.26102/2310-6018/2021.32.1.010</elocation-id>
      <permissions>
        <copyright-statement>Copyright © Авторы, 2026</copyright-statement>
        <copyright-year>2026</copyright-year>
        <license license-type="creative-commons-attribution" xlink:href="https://creativecommons.org/licenses/by/4.0/">
          <license-p>This work is licensed under a Creative Commons Attribution 4.0 International License</license-p>
        </license>
      </permissions>
      <self-uri xlink:href="https://moitvivt.ru/ru/journal/article?id=912"/>
      <abstract xml:lang="ru">
        <p>Задача классификации научной специальности представляет собой сложный процесс, в котором, как правило, задействуется команда специалистов по определенному научному направлению. Одна из наиболее частых ситуаций, при которой возникает подобная задача, это определение научной специальности при защите диссертации. При решении подобной задачи можно использовать уже существующие научные тексты по специальностям. Наиболее показательным набором текстов по определенной специальности является набор авторефератов. Перед созданием интеллектуальной системы классификации научной специальности требуется обработка текстов авторефератов и их векторизация, которая обеспечит возможность обучения моделей. Разные способы обработки текстов оказывают разное влияние на конечный результат. В данной работе проведено сравнение разных способов подготовки текстов. При этом особенное внимание уделено возможности применения способов на разных по размеру наборах данных. Исследование способов подготовки текстов на малом наборе данных, а затем масштабирование этих же способов на большой набор данных обеспечит значительное сокращение затрачиваемого машинного времени на работу с текстами. В результате исследования установлена самая эффективная комбинация способов подготовки текстовых данных. Дальнейшая векторизация текстов возможна разными способами. В работе рассмотрена возможность векторизации методом TF-IDF. Для обеспечения наилучшего результата работы моделей машинного обучения проведены эксперименты по выбору оптимальных гиперпараметров векторизатора. В результате проведения экспериментов оценено влияние различных изменений гиперпараметров на конечный результат работы модели машинного обучения.</p>
      </abstract>
      <trans-abstract xml:lang="en">
        <p>The task of classifying a scientific specialty is a complex process in which, as a rule, a team of specialists in a certain scientific direction is involved. One of the most common situations in which such a task arises is the definition of a scientific specialty when defending a dissertation. When solving such a problem, you can use existing scientific texts in specialties. The most indicative set of texts on a particular specialty is a set of abstracts. Before creating an intelligent classification system for a scientific specialty, it is necessary to process the texts of abstracts and their vectorization, which will provide the possibility of training models. Different types of word processing have different effects on the final result. This paper compares different methods of preparing texts. At the same time, special attention is paid to the possibility of using the methods on data sets of different sizes. Investigation of ways of preparing texts on a small data set, and then scaling the same methods for a large data set will provide a significant reduction in the computer time spent on working with texts. As a result of the research, the most effective combination of methods for preparing text data has been established. Further vectorization of texts is possible in different ways. The paper considers the possibility of vectorization using the TF-IDF method. To ensure the best result of the machine learning models, experiments were carried out to select the optimal hyperparameters of the vectorizer. As a result of the experiments, the influence of various changes in hyperparameters on the final result of the machine learning model was evaluated.</p>
      </trans-abstract>
      <kwd-group xml:lang="ru">
        <kwd>обработка текста</kwd>
        <kwd>векторизация</kwd>
        <kwd>программный комплекс</kwd>
        <kwd>интеллектуальная система</kwd>
        <kwd>моделирование</kwd>
      </kwd-group>
      <kwd-group xml:lang="en">
        <kwd>word processing</kwd>
        <kwd>vectorization</kwd>
        <kwd>software package</kwd>
        <kwd>intelligent system</kwd>
        <kwd>modeling</kwd>
      </kwd-group>
      <funding-group>
        <funding-statement xml:lang="ru">Исследование выполнено без спонсорской поддержки.</funding-statement>
        <funding-statement xml:lang="en">The study was performed without external funding.</funding-statement>
      </funding-group>
    </article-meta>
  </front>
  <back>
    <ref-list>
      <title>References</title>
      <ref id="cit1">
        <label>1</label>
        <mixed-citation xml:lang="ru">Иванов Н.Н. Синтаксический разбор предложения для векторизации текста. Вопросы науки и образования. 2017;11(12):45-46.</mixed-citation>
      </ref>
      <ref id="cit2">
        <label>2</label>
        <mixed-citation xml:lang="ru">Спивак А.И., Лапшин С.В., Лебедев И.С. Классификация коротких сообщений с использованием векторизации на основе elmo. Известия Тульского государственного университета. Технические науки. 2019;10:410-418.</mixed-citation>
      </ref>
      <ref id="cit3">
        <label>3</label>
        <mixed-citation xml:lang="ru">Флах, П.. Машинное обучение. Наука и искусство построения алгоритмов, которые извлекают знания из данных. Litres, 2019.</mixed-citation>
      </ref>
      <ref id="cit4">
        <label>4</label>
        <mixed-citation xml:lang="ru">Бородин А.И., Вейнберг Р.Р., Литвишко О.В. Методы обработки текста при создании чат-ботов. Хуманитарни Балкански изследвания. 2019;3(3(5)):108-111. DOI: 10.34671/sch.hbr.2019.0303.0026</mixed-citation>
      </ref>
      <ref id="cit5">
        <label>5</label>
        <mixed-citation xml:lang="ru">Кайбасова Д.Ж. Извлечение статистических данных для определения уникальности документов на основе анализ контента учебных программ дисциплин. The Scientific Heritage. 2020;44-1(44):57-62.</mixed-citation>
      </ref>
      <ref id="cit6">
        <label>6</label>
        <mixed-citation xml:lang="ru">Кротова О.С., Москалев И.В., Хворова Л.А., Назаркина О.М. Реализация эффективных моделей классификации медицинских данных методами интеллектуального анализа текстовой информации. Известия Алтайского государственного университета. 2020;1(111):99-104.</mixed-citation>
      </ref>
      <ref id="cit7">
        <label>7</label>
        <mixed-citation xml:lang="ru">Исаченко В.В., Апанович З.В. Система анализа и визуализации для кросс-языковой идентификации авторов научных публикаций. Вестник Новосибирского государственного университета. Серия: Информационные технологии. 2018;16(2):49-61. DOI: 10.25205/1818-7900-2018-16-2-49-61.</mixed-citation>
      </ref>
      <ref id="cit8">
        <label>8</label>
        <mixed-citation xml:lang="ru">Жеребцова Ю.А., Чижик А.В. Создание чат-бота: обзор архитектур и векторных представлений текста. International Journal of Open Information Technologies. 2020;8(7):50-56.</mixed-citation>
      </ref>
      <ref id="cit9">
        <label>9</label>
        <mixed-citation xml:lang="ru">Попова Е.П., Леоненко В.Н.. Прогнозирование реакции пользователей в социальных сетях методами машинного обучения. Научно-технический вестник информационных технологий, механики и оптики. 2020;20(1):118-124.</mixed-citation>
      </ref>
      <ref id="cit10">
        <label>10</label>
        <mixed-citation xml:lang="ru">Udhayakumar S., Nancy J.S., UmaNandhini D., Ashwin P., Ganesh R. Context Aware Text Classification and Recommendation Model for Toxic Comments Using Logistic Regression. Intelligence in Big Data Technologies—Beyond the Hype. Springer, Singapore. 2021;209-217. DOI: 10.1007/978-981-15-5285-4_20.</mixed-citation>
      </ref>
      <ref id="cit11">
        <label>11</label>
        <mixed-citation xml:lang="ru">De Cock M., Dowsley R., Nascimento A.C., Railsback D., Shen J., Todoki A. (2021). High performance logistic regression for privacy-preserving genome analysis. BMC Medical Genomics. 2021;14(1):1-18. DOI: 10.21203/rs.3.rs-26375/v1.</mixed-citation>
      </ref>
      <ref id="cit12">
        <label>12</label>
        <mixed-citation xml:lang="ru">Kumar V., Subba B. (2020, February). A TfidfVectorizer and SVM based sentiment analysis framework for text data corpus. 2020 National Conference on Communications (NCC). IEEE. 2020;1-6. DOI: 10.1109/ncc48643.2020.9056085.</mixed-citation>
      </ref>
      <ref id="cit13">
        <label>13</label>
        <mixed-citation xml:lang="ru">Subba B., Gupta P. A tfidfvectorizer and singular value decomposition based host intrusion detection system framework for detecting anomalous system processes. Computers &amp; Security. 2021;100. DOI: 10.1016/j.cose.2020.102084.</mixed-citation>
      </ref>
      <ref id="cit14">
        <label>14</label>
        <mixed-citation xml:lang="ru">Абрамов П.С. Извлечение ключевой информации из текста. Новые информационные технологии в автоматизированных системах. 2018;21:217-219.</mixed-citation>
      </ref>
    </ref-list>
    <fn-group>
      <fn fn-type="conflict">
        <p>The authors declare that there are no conflicts of interest present.</p>
      </fn>
    </fn-group>
  </back>
</article>