Мультимодальные нейросети и локально обученные модели в задачах извлечения структурированных фактов

Социальный капитал стал значимым профессиональным ресурсом, однако удержание в памяти большого массива контекстных данных затруднено. Проблему решают интеллектуальные боты Personal CRM, способные извлекать полезные факты из текста и речи. При проектировании таких систем ключевой дилеммой становится выбор архитектуры NLP в условиях строгих требований к конфиденциальности. В работе проведено сравнение производительности и ресурсоемкости четырех практических подходов. Наивысшую скорость работы показала изолированная векторная модель, расходующая около 1,9 ГБ оперативной памяти при обработке выборки за 14 секунд. Связка распознавания речи с компактной LLM (Qwen 2.5-0.6B) увеличивает задержку отклика до 25 секунд. Данной конфигурации требуется 2,5 ГБ ОЗУ, причем усложнение промптов резко повышает расход памяти, а пиковая нагрузка на процессор достигает 600 %. Гибридная схема требует около 3,0 ГБ ОЗУ при сопоставимом времени работы в 24 секунды, но снижает вычислительную нагрузку на CPU до 495 %. Оптимизация достигается за счет точечного подключения тяжеловесной модели. Запуск цельной мультимодальной сети оказался технически нецелесообразным: инференс превысил 40 минут при потреблении 5,8 ГБ памяти. Для локальных систем целесообразно использовать либо полностью автономный самообученный конвейер, обеспечивающий максимальную скорость, либо гибридную маршрутизацию. В гибридном варианте легкая модель фильтрует повседневные задачи, а языковая сеть привлекается исключительно для разрешения семантических неоднозначностей.

1. Гвоздиков Д.С. Онлайн-сети и развитие сетевых взаимодействий. Вестник СПбГУ. Сер. 12. 2015;(2):100–107.

2. Лызь Н.А., Гладкая Е.В. Влияние цифровизации на когнитивные процессы: обзор причин и последствий. Вестник Пермского университета. Философия. Психология. Социология. 2025;(3):396–405. https://doi.org/10.17072/2078-7898/2025-3-396-405

3. Шмаков А.В. Мягкое регулирование в условиях цифровой трансформации: поведенческие основания. Journal of Institutional Studies. 2021;13(3):102–116. https://doi.org/10.17835/2076-6297.2021.13.3.102-116

4. Кравченко Д.А. Микросервисная архитектура. Интерактивная наука. 2022:43–44 https://doi.org/10.21661/r-556565

5. Абдирашитулы А. Микросервисная архитектура в NLP платформах: проектирование и масштабируемость. Вестник науки. 2026;1(5):609–619.

6. Рахманов А, Исхакова Н, Абдувалиева З. Представление слов в векторном пространстве применяя модель word2vec. Eurasian Journal of Mathematical Theory and Computer Sciences. 2025:5(5)54–59. https://doi.org/10.5281/zenodo.15524744

7. Лыченко Н.М., Сороковая А.В. Сравнение эффективности методов векторного представления слов для определения тональности текстов. Математические структуры и моделирование. 2019;(4):97–110. https://doi.org/10.24147/2222-8772.2019.4.97-110

8. Титов Ю.П., Кильмишкин Н.В., Кубраков Д.Д., Иванова П.М. Поиск именованных сущностей в инструкциях по медицинскому применению лекарственных средств с использованием глубокого обучения и методов обработки естественного языка. Труды ИСП РАН. 2025;37(2):217–236.

9. Качанов В.В., Хитрова А.С., Марков С.И. Извлечение именованных сущностей из рецензий к исходному коду. Труды ИСП РАН. 2023;35(5):193–214.

10. Ильин Г.А. Поиск и извлечение информации о мероприятиях с использованием методов Named Entity Recognition (NER). Вестник науки. 2025; 3(3):572–576.