Проблема эффективной автоматизации процесса обработки визуально насыщенных документов является важной частью исследований в области компьютерного зрения. Статья посвящена разработке модели компьютерного зрения для детекции областей в визуально насыщенных документах, с акцентом на обработку чеков с использованием обучения с подкреплением. В условиях растущего объема бумажной документации и необходимости автоматизации обработки данных, эффективная идентификация ключевых элементов чеков (таких как суммы, даты и наименования товаров) становится особенно актуальной. В статье представлена архитектура модели, основанная на сверточных нейронных сетях (CNN), которая обучена на разнообразных наборах данных, включающих изображения чеков различного формата и качества. Рассмотрены методы извлечения информации и алгоритм обучения с подкреплением, который использует обрезанную функцию потерь, цикл обучения с подкреплением, представленный в SpanIE-Recur. Описаны этапы предобработки данных, включая увеличение выборки и нормализацию изображений, что способствует повышению точности детекции. Результаты экспериментов показывают высокую эффективность предложенной модели, достигающую значительных показателей точности и полноты при идентификации областей интереса. Также обсуждаются возможные применения данной технологии в сферах автоматизации бухгалтерского учета, финансового анализа и электронного документооборота. В заключение подчеркивается важность дальнейших исследований в области улучшения алгоритмов обработки изображений и расширения функциональности модели для работы с другими типами документов.
The problem of efficient automation of visually rich document processing is an important part of computer vision research. This paper is devoted to the development of a computer vision model for region detection in visually rich documents, with an emphasis on receipt processing using reinforcement learning. In the context of the growing volume of paper documentation and the need to automate data processing, efficient identification of key elements of receipts (such as amounts, dates, and product names) is becoming especially relevant. The paper presents the architecture of the model based on convolutional neural networks (CNN), which is trained on a variety of datasets including receipt images of different formats and qualities. The methods of information extraction and the reinforcement learning algorithm are considered, which uses a trimmed loss function, a reinforcement learning loop presented in SpanIE-Recur. The stages of data preprocessing are described, including sample augmentation and image normalization, which contributes to increasing the detection accuracy. The experimental results show the high efficiency of the proposed model, achieving significant accuracy and recall in identifying regions of interest. Possible applications of this technology in the fields of accounting automation, financial analysis and electronic document management are also discussed. In conclusion, the importance of further research in the field of improving image processing algorithms and expanding the functionality of the model to work with other types of documents is emphasized.
The authors declare that there are no conflicts of interest present.