Разработка метрики определения вероятностного расстояния до решения в сложных проблемных областях

Основной подход к решению задач на курсах по программированию зачастую состоит из написания и тестирования отдельных частей алгоритма, записанного на том или ином языке. Учащиеся делают несколько попыток сдать задачу в тестирующую систему, каждая из таких попыток отражает текущее состояние решения. Обычно для определения результативности вычисляется среднее количество попыток сдать решение или время, затраченное для получения верной программы. Такие метрики, как правило, неустойчивы, потому что время исправления отдельных ошибок существенно влияет на общее время решения задачи. Также данные метрики не отражают, что именно не понимает учащийся в теоретическом аспекте. В данной статье предлагается метрика, основанная на вероятностном расстоянии между текущим состоянием и правильным решением. В рамках эксперимента группой студентов были решены задачи в онлайн-среде. Все их попытки оценивались по модели алгоритмических компонентов, необходимых для достижения правильного решения. Для создания графа, связывающего программные состояния, использовались цепи Маркова. Предложенная метрика вероятностного расстояния до решения применена к графу для определения расстояний от каждого решения до ближайших правильных. Результаты показали, что данная метрика полезна при определении расстояния, если путь к правильному решению был типичен и согласовывался с изученным теоретическим материалом. В статье предлагаются детали реализации метрики вероятностных расстояний до решения и план дальнейших исследований, основанных на текущих наблюдениях.

1. Barnes T., Stamper J. Automatic Hint Generation for Logic Proof Tutoring Using Historical Data. Educational Technology & Society. 2010;13(1):3-12. Доступно по: https://www.j-ets.net/collection/published-issues/13_1 (дата обращения 21.01.2021).

2. Valenti S., Neri F. An Overview of Current Research on Automated Essay Grading. Journal of Information Technology Education. 2013;2:319–330. Доступно по: https://www.informingscience.org/Publications/331 DOI: 10.28945/331 (дата обращения 21.01.2021).

3. Ihantola P., Ahoniemi T., Karavirta V. Review of Recent Systems for Automatic Assessment of Programming Assignments. 10th Koli Calling International Conference on Computing Education Research. 2010:86–93. Доступно по: https://dl.acm.org/doi/10.1145/1930464.1930480 DOI: 10.1145/1930464.1930480 (Дата обращения 21.01.2021).

4. Есин Т.Е., Глухих И.Н. Автоматизация предоставления персонализированной обратной связи на курсах изучения программирования. Моделирование, оптимизация и информационные технологии. 2019;7(1). Доступно по: http://moitvivt.ru/journal/pdf?id=589. DOI: 10.26102/2310-6018/2019.24.1.043 (дата обращения: 21.01.2021).

5. Jadud M. A First Look at Novice Compilation Behaviour Using BlueJ. Computer Science Education. 2005;15(1):25–40. Доступно по: https://www.tandfonline.com/doi/abs/10.1080/ DOI: 10.1080/08993400500056530 (Дата обращения 21.01.2021).

6. Feng M., Heffernan N. Predicting State Test Scores Better with Intelligent Tutoring Systems: Developing Metrics to Measure Assistance Required. 8th International Conference on Intelligent Tutoring Systems. 2006:31–40. Доступно по: https://dl.acm.org/doi/10.1007/11774303_4 DOI: 10.1007/11774303_4 (Дата обращения: 21.01.2021).

7. Lane H., Vanlehn K. Intention-Based Scoring: An Approach to Measuring Success at Solving the Composition Problem. 36th SIGCSE technical symposium on Computer science education. 2005:373–377. Доступно по: https://dl.acm.org/doi/10.1145/1047124.1047471 DOI: 10.1145/1047124.1047471 (Дата обращения: 21.01.2021).

8. Mitrovic A. An Intelligent SQL Tutor on the Web. International Journal of Artificial Intelligence in Education. 2003;13(2-4):173–197. Доступно по: https://iaied.org/journal/963 (Дата обращения 21.01.2021).

9. Le N., Menzel W. Using Constraint-Based Modelling to Describe the Solution Space of Ill-defined Problems in Logic Programming. Advances in Web Based Learning (ICSL 2007). 2007:367–379. Доступно по: https://link.springer.com/chapter/10.1007/978-3-540-78139-4_33 DOI: 10.1007/978-3-540-78139-4_33 (Дата обращения 21.01.2021).