Поддержка принятия решений на базе кластеризации сообщений об ошибках для контроля качества выполнения сложных открытых задач

Среди процессов различных организаций есть процессы, связанные с выполнением задач, качество выполнения которых контролируется вручную. Это происходит из-за отсутствия результата-эталона для таких задач, и есть только система требований, которым должна удовлетворять решенная задача. Задачи такого рода в области дистанционного обучения называют сложными открытыми задачами. Однако кроме данной области такие задачи присутствуют и в других областях, например, в издательском процессе, в процессе производства оборудования и устройств и др. Этап контроля качества выполнения сложных открытых задач осуществляется неэффективно из-за больших временных затрат контролера, который не только осуществляет проверку работ на соответствие заданным требованиям, но и подготавливает отклик для исполнителя. Для ряда задач начинают использовать интеллектуальную поддержку контроля. Интеллектуальная поддержка основана на автоматической классификации решений с использованием машинного обучения. Однако автоматическая классификация может приводить к некорректному оцениванию качества выполнения задач, а также в результате работы классификатора не генерируется отклик, являющийся достаточным для переработки решения до требуемого уровня. В статье предложен метод поддержки принятия решений на базе кластеризации сообщений об ошибках, позволяющий создавать «полноценный» отклик по выполненным сложным открытым задачам. Разработано специальное программное обеспечение, которое совместно с существующей системой кластеризации Carrot2, реализует предложенный метод. Осуществлено внедрение программного обеспечения при организации дистанционных предзащит выпускных квалификационных работ, в результате которого сокращено время на подготовку контролером отклика по выполненной задаче.

1. Латыпова В.А. Концепция управления процессом дистанционного автоматизированного обучения при решении сложных открытых задач с использованием банка ошибок. Моделирование, оптимизация и информационные технологии. 2019;7(3). Доступно по адресу: moit.vivt.ru/wpcontent/uploads/2019/09/Latypova_3_19_1.pdf (дата обращения 28.09.2020). doi: 10.26102/2310-6018/2019.26.3.015

2. Balfour S. Assessing writing in MOOCs: automated essay scoring and calibrated peer review. Research & Practice in Assessment. 2013;8:40-48.

3. Heaven D. AI peer reviewers unleashed to ease publishing grind. Nature. 2018;563(7733):609-610. doi: 10.1038/d41586-018-07245-9.

4. Кириченко К.М., Герасимов М.Б. Обзор методов кластеризации текстовой информации. Материалы конференции Dialog. 2001. Доступно по адресу: www.dialog-21.ru/digest/2001/articles/kirichenko (дата обращения 28.09.2020).

5. Nagwani N.K., Verma S. Software Bug Classification using Suffix Tree Clustering (STC) Algorithm. IJCST. 2011;2(1): 36-41.

6. Hammad M., Alzyoudi R., Otoom A.F. Automatic clustering of bug reports. IJACR. 2018; 8(39):313-323. doi: 10.19101/IJACR.2018.839013.

7. Osinski S., Stefanowski J., Weiss D. Lingo: search results clustering algorithm based on singular value decomposition. Intelligent Information Processing and Web Mining. Advances in Soft Computing. Springer, Berlin, Heidelberg. 2004;25:359-368. doi: 10.1007/978-3-540-39985-8_37.

8. Osinski, S. An Algorithm for Clustering of Web Search Results. Master’s thesis. Poznan University of Technology, Poland. 2003. Available from: citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.95.5832&rep=rep1&type=pdf (accessed 28.09.2020).

9. Попов М.П. Эффективные приемы набора и редактирования текста. СПб.:БХВПетербург. 2006.

10. Carrot2 official site. Available from: project.carrot2.org (accessed 28.09.2020).

11. Латыпова В.А. Программа: банк ошибок. Свидетельство о регистрации программы для ЭВМ RU 2016611178, 27.01.2016. Заявка № 2015619438 от 06.10.2015.

12. Латыпова В.А. Программа сбора информации при управлении процессом обучения при решении сложных открытых задач. Свидетельство о регистрации программы для ЭВМ RU 2019663469, 17.10.2019. Заявка № 2019662317 от 07.10.2019.