<?xml version="1.0" encoding="UTF-8"?>
<article article-type="research-article" dtd-version="1.3" xml:lang="ru" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:noNamespaceSchemaLocation="https://metafora.rcsi.science/xsd_files/journal3.xsd">
  <front>
    <journal-meta>
      <journal-id journal-id-type="publisher-id">moitvivt</journal-id>
      <journal-title-group>
        <journal-title xml:lang="ru">Моделирование, оптимизация и информационные технологии</journal-title>
        <trans-title-group xml:lang="en">
          <trans-title>Modeling, Optimization and Information Technology</trans-title>
        </trans-title-group>
      </journal-title-group>
      <issn pub-type="epub">2310-6018</issn>
      <publisher>
        <publisher-name>Издательство</publisher-name>
      </publisher>
    </journal-meta>
    <article-meta>
      <article-id pub-id-type="doi">10.26102/2310-6018/2026.58.7.012</article-id>
      <article-id pub-id-type="custom" custom-type="elpub">2470</article-id>
      <title-group>
        <article-title xml:lang="ru">Мультимодальные нейросети и локально обученные модели в задачах извлечения структурированных фактов</article-title>
        <trans-title-group xml:lang="en">
          <trans-title>Multimodal neural networks and locally trained models in structured fact extraction tasks</trans-title>
        </trans-title-group>
      </title-group>
      <contrib-group>
        <contrib contrib-type="author">
          <contrib-id contrib-id-type="orcid">0000-0002-5857-108X</contrib-id>
          <name-alternatives>
            <name name-style="eastern" xml:lang="ru">
              <surname>Аснина</surname>
              <given-names>Наталия Георгиевна</given-names>
            </name>
            <name name-style="western" xml:lang="en">
              <surname>Asnina</surname>
              <given-names>Natalia Georgievna</given-names>
            </name>
          </name-alternatives>
          <email>andrey050569@yandex.ru</email>
          <xref ref-type="aff">aff-1</xref>
        </contrib>
        <contrib contrib-type="author">
          <name-alternatives>
            <name name-style="eastern" xml:lang="ru">
              <surname>Ухин</surname>
              <given-names>Максим Олегович</given-names>
            </name>
            <name name-style="western" xml:lang="en">
              <surname>Ukhin</surname>
              <given-names>Maxim Olegovich</given-names>
            </name>
          </name-alternatives>
          <email>andrey050569@yandex.ru</email>
          <xref ref-type="aff">aff-2</xref>
        </contrib>
        <contrib contrib-type="author">
          <name-alternatives>
            <name name-style="eastern" xml:lang="ru">
              <surname>Нетесов</surname>
              <given-names>Евгений Владимирович</given-names>
            </name>
            <name name-style="western" xml:lang="en">
              <surname>Netesov</surname>
              <given-names>Evgeniy Vladimirovich</given-names>
            </name>
          </name-alternatives>
          <email>arshavin.07@mail.ru</email>
          <xref ref-type="aff">aff-3</xref>
        </contrib>
      </contrib-group>
      <aff-alternatives id="aff-1">
        <aff xml:lang="ru">Воронежский государственный технический университет Воронежский государственный университет</aff>
        <aff xml:lang="en">Voronezh State Technical University Voronezh State l University</aff>
      </aff-alternatives>
      <aff-alternatives id="aff-2">
        <aff xml:lang="ru">Воронежский государственный университет</aff>
        <aff xml:lang="en">Voronezh State  University</aff>
      </aff-alternatives>
      <aff-alternatives id="aff-3">
        <aff xml:lang="ru">Воронежский государственный технический университет</aff>
        <aff xml:lang="en">Voronezh State Technical University</aff>
      </aff-alternatives>
      <pub-date pub-type="epub">
        <day>01</day>
        <month>01</month>
        <year>2026</year>
      </pub-date>
      <volume>1</volume>
      <issue>1</issue>
      <elocation-id>10.26102/2310-6018/2026.58.7.012</elocation-id>
      <permissions>
        <copyright-statement>Copyright © Авторы, 2026</copyright-statement>
        <copyright-year>2026</copyright-year>
        <license license-type="creative-commons-attribution" xlink:href="https://creativecommons.org/licenses/by/4.0/">
          <license-p>This work is licensed under a Creative Commons Attribution 4.0 International License</license-p>
        </license>
      </permissions>
      <self-uri xlink:href="https://moitvivt.ru/ru/journal/article?id=2470"/>
      <abstract xml:lang="ru">
        <p>Социальный капитал стал значимым профессиональным ресурсом, однако удержание в памяти большого массива контекстных данных затруднено. Проблему решают интеллектуальные боты Personal CRM, способные извлекать полезные факты из текста и речи. При проектировании таких систем ключевой дилеммой становится выбор архитектуры NLP в условиях строгих требований к конфиденциальности. В работе проведено сравнение производительности и ресурсоемкости четырех практических подходов. Наивысшую скорость работы показала изолированная векторная модель, расходующая около 1,9 ГБ оперативной памяти при обработке выборки за 14 секунд. Связка распознавания речи с компактной LLM (Qwen 2.5-0.6B) увеличивает задержку отклика до 25 секунд. Данной конфигурации требуется 2,5 ГБ ОЗУ, причем усложнение промптов резко повышает расход памяти, а пиковая нагрузка на процессор достигает 600 %. Гибридная схема требует около 3,0 ГБ ОЗУ при сопоставимом времени работы в 24 секунды, но снижает вычислительную нагрузку на CPU до 495 %. Оптимизация достигается за счет точечного подключения тяжеловесной модели. Запуск цельной мультимодальной сети оказался технически нецелесообразным: инференс превысил 40 минут при потреблении 5,8 ГБ памяти. Для локальных систем целесообразно использовать либо полностью автономный самообученный конвейер, обеспечивающий максимальную скорость, либо гибридную маршрутизацию. В гибридном варианте легкая модель фильтрует повседневные задачи, а языковая сеть привлекается исключительно для разрешения семантических неоднозначностей.</p>
      </abstract>
      <trans-abstract xml:lang="en">
        <p>Social capital has become a significant professional resource; however, retaining a large volume of contextual data in memory is challenging. This problem is addressed by intelligent Personal CRM bots capable of extracting useful facts from text and speech. When designing such systems, a key dilemma is selecting an NLP architecture under strict confidentiality requirements. This paper compares the performance and resource consumption of four practical approaches. The isolated vector model demonstrated the highest processing speed, consuming approximately 1.9 GB of RAM with a sample processing time of 14 seconds. The combination of speech recognition with a compact LLM (Qwen&#13;
2.5-0.6B) increases the response latency to 25 seconds. This configuration requires 2.5 GB of RAM; furthermore, complicating the prompts sharply increases memory consumption, while the peak CPU load reaches 600 %. The hybrid scheme requires about 3.0 GB of RAM with a comparable processing time of 24 seconds, but it reduces the computational load on the CPU to 495 %. This optimization is achieved through the selective activation of the heavy-weight model. The deployment of a unified multimodal network proved technically unfeasible: inference exceeded 40 minutes while consuming 5.8 GB of memory. For local systems, it is advisable to use either a fully autonomous self-trained pipeline, which ensures maximum speed, or hybrid routing. In the hybrid variant, a lightweight model filters routine tasks, and the language network is engaged exclusively to resolve semantic ambiguities.</p>
      </trans-abstract>
      <kwd-group xml:lang="ru">
        <kwd>мультимодальные нейросети</kwd>
        <kwd>LLM</kwd>
        <kwd>самообученные модели</kwd>
        <kwd>NLP</kwd>
        <kwd>извлечение фактов</kwd>
        <kwd>Personal CRM</kwd>
      </kwd-group>
      <kwd-group xml:lang="en">
        <kwd>multimodal neural networks</kwd>
        <kwd>LLM</kwd>
        <kwd>self-trained models</kwd>
        <kwd>NLP</kwd>
        <kwd>fact extraction</kwd>
        <kwd>Personal CRM</kwd>
      </kwd-group>
      <funding-group>
        <funding-statement xml:lang="ru">Исследование выполнено без спонсорской поддержки.</funding-statement>
        <funding-statement xml:lang="en">The study was performed without external funding.</funding-statement>
      </funding-group>
    </article-meta>
  </front>
  <back>
    <ref-list>
      <title>References</title>
      <ref id="cit1">
        <label>1</label>
        <mixed-citation xml:lang="ru">Гвоздиков Д.С. Онлайн-сети и развитие сетевых взаимодействий. Вестник СПбГУ. Сер. 12. 2015;(2):100–107.</mixed-citation>
      </ref>
      <ref id="cit2">
        <label>2</label>
        <mixed-citation xml:lang="ru">Лызь Н.А., Гладкая Е.В. Влияние цифровизации на когнитивные процессы: обзор причин и последствий. Вестник Пермского университета. Философия. Психология. Социология. 2025;(3):396–405. https://doi.org/10.17072/2078-7898/2025-3-396-405</mixed-citation>
      </ref>
      <ref id="cit3">
        <label>3</label>
        <mixed-citation xml:lang="ru">Шмаков А.В. Мягкое регулирование в условиях цифровой трансформации: поведенческие основания. Journal of Institutional Studies. 2021;13(3):102–116. https://doi.org/10.17835/2076-6297.2021.13.3.102-116</mixed-citation>
      </ref>
      <ref id="cit4">
        <label>4</label>
        <mixed-citation xml:lang="ru">Кравченко Д.А. Микросервисная архитектура. Интерактивная наука. 2022:43–44 https://doi.org/10.21661/r-556565</mixed-citation>
      </ref>
      <ref id="cit5">
        <label>5</label>
        <mixed-citation xml:lang="ru">Абдирашитулы А. Микросервисная архитектура в NLP платформах: проектирование и масштабируемость. Вестник науки. 2026;1(5):609–619.</mixed-citation>
      </ref>
      <ref id="cit6">
        <label>6</label>
        <mixed-citation xml:lang="ru">Рахманов А, Исхакова Н, Абдувалиева З. Представление слов в векторном пространстве применяя модель word2vec. Eurasian Journal of Mathematical Theory and Computer Sciences. 2025:5(5)54–59. https://doi.org/10.5281/zenodo.15524744</mixed-citation>
      </ref>
      <ref id="cit7">
        <label>7</label>
        <mixed-citation xml:lang="ru">Лыченко Н.М., Сороковая А.В. Сравнение эффективности методов векторного представления слов для определения тональности текстов. Математические структуры и моделирование. 2019;(4):97–110. https://doi.org/10.24147/2222-8772.2019.4.97-110</mixed-citation>
      </ref>
      <ref id="cit8">
        <label>8</label>
        <mixed-citation xml:lang="ru">Титов Ю.П., Кильмишкин Н.В., Кубраков Д.Д., Иванова П.М. Поиск именованных сущностей в инструкциях по медицинскому применению лекарственных средств с использованием глубокого обучения и методов обработки естественного языка. Труды ИСП РАН. 2025;37(2):217–236.</mixed-citation>
      </ref>
      <ref id="cit9">
        <label>9</label>
        <mixed-citation xml:lang="ru">Качанов В.В., Хитрова А.С., Марков С.И. Извлечение именованных сущностей из рецензий к исходному коду. Труды ИСП РАН. 2023;35(5):193–214.</mixed-citation>
      </ref>
      <ref id="cit10">
        <label>10</label>
        <mixed-citation xml:lang="ru">Ильин Г.А. Поиск и извлечение информации о мероприятиях с использованием методов Named Entity Recognition (NER). Вестник науки. 2025; 3(3):572–576.</mixed-citation>
      </ref>
    </ref-list>
    <fn-group>
      <fn fn-type="conflict">
        <p>The authors declare that there are no conflicts of interest present.</p>
      </fn>
    </fn-group>
  </back>
</article>