<?xml version="1.0" encoding="UTF-8"?>
<article article-type="research-article" dtd-version="1.3" xml:lang="ru" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:noNamespaceSchemaLocation="https://metafora.rcsi.science/xsd_files/journal3.xsd">
  <front>
    <journal-meta>
      <journal-id journal-id-type="publisher-id">moitvivt</journal-id>
      <journal-title-group>
        <journal-title xml:lang="ru">Моделирование, оптимизация и информационные технологии</journal-title>
        <trans-title-group xml:lang="en">
          <trans-title>Modeling, Optimization and Information Technology</trans-title>
        </trans-title-group>
      </journal-title-group>
      <issn pub-type="epub">2310-6018</issn>
      <publisher>
        <publisher-name>Издательство</publisher-name>
      </publisher>
    </journal-meta>
    <article-meta>
      <article-id pub-id-type="doi">10.26102/2310-6018/2020.30.3.027</article-id>
      <article-id pub-id-type="custom" custom-type="elpub">828</article-id>
      <title-group>
        <article-title xml:lang="ru">Поддержка принятия решений на базе кластеризации сообщений об ошибках для контроля качества выполнения сложных открытых задач</article-title>
        <trans-title-group xml:lang="en">
          <trans-title>Decision support based on error report clustering in complex open ended assignments quality control</trans-title>
        </trans-title-group>
      </title-group>
      <contrib-group>
        <contrib contrib-type="author" corresp="yes">
          <contrib-id contrib-id-type="orcid">0000-0003-3063-105X</contrib-id>
          <name-alternatives>
            <name name-style="eastern" xml:lang="ru">
              <surname>Латыпова</surname>
              <given-names>Виктория Александровна</given-names>
            </name>
            <name name-style="western" xml:lang="en">
              <surname>Latypova</surname>
              <given-names>Viktoriya A.</given-names>
            </name>
          </name-alternatives>
          <email>vikvaphoto@yandex.ru</email>
          <xref ref-type="aff">aff-1</xref>
        </contrib>
      </contrib-group>
      <aff-alternatives id="aff-1">
        <aff xml:lang="ru">ФГБОУ ВО "Уфимский государственный авиационный технический университет"</aff>
        <aff xml:lang="en">Federal State Budgetary Educational Institution of Higher Education "Ufa State Aviation Technical University"</aff>
      </aff-alternatives>
      <pub-date pub-type="epub">
        <day>01</day>
        <month>01</month>
        <year>2026</year>
      </pub-date>
      <volume>1</volume>
      <issue>1</issue>
      <elocation-id>10.26102/2310-6018/2020.30.3.027</elocation-id>
      <permissions>
        <copyright-statement>Copyright © Авторы, 2026</copyright-statement>
        <copyright-year>2026</copyright-year>
        <license license-type="creative-commons-attribution" xlink:href="https://creativecommons.org/licenses/by/4.0/">
          <license-p>This work is licensed under a Creative Commons Attribution 4.0 International License</license-p>
        </license>
      </permissions>
      <self-uri xlink:href="https://moitvivt.ru/ru/journal/article?id=828"/>
      <abstract xml:lang="ru">
        <p>Среди процессов различных организаций есть процессы, связанные с выполнением&#13;
задач, качество выполнения которых контролируется вручную. Это происходит из-за отсутствия&#13;
результата-эталона для таких задач, и есть только система требований, которым должна&#13;
удовлетворять решенная задача. Задачи такого рода в области дистанционного обучения&#13;
называют сложными открытыми задачами. Однако кроме данной области такие задачи&#13;
присутствуют и в других областях, например, в издательском процессе, в процессе производства&#13;
оборудования и устройств и др. Этап контроля качества выполнения сложных открытых задач&#13;
осуществляется неэффективно из-за больших временных затрат контролера, который не только&#13;
осуществляет проверку работ на соответствие заданным требованиям, но и подготавливает&#13;
отклик для исполнителя. Для ряда задач начинают использовать интеллектуальную поддержку&#13;
контроля. Интеллектуальная поддержка основана на автоматической классификации решений с&#13;
использованием машинного обучения. Однако автоматическая классификация может приводить&#13;
к некорректному оцениванию качества выполнения задач, а также в результате работы&#13;
классификатора не генерируется отклик, являющийся достаточным для переработки решения до&#13;
требуемого уровня. В статье предложен метод поддержки принятия решений на базе&#13;
кластеризации сообщений об ошибках, позволяющий создавать «полноценный» отклик по&#13;
выполненным сложным открытым задачам. Разработано специальное программное обеспечение,&#13;
которое совместно с существующей системой кластеризации Carrot2, реализует предложенный&#13;
метод. Осуществлено внедрение программного обеспечения при организации дистанционных&#13;
предзащит выпускных квалификационных работ, в результате которого сокращено время на&#13;
подготовку контролером отклика по выполненной задаче.</p>
      </abstract>
      <trans-abstract xml:lang="en">
        <p>There are processes among the processes of different organizations related to carrying out&#13;
tasks, implementation of which is controlled manually. This is because of a lack of result-template for&#13;
the tasks. There is only the system of requirements, which implemented task must satisfy. These tasks&#13;
are known as complex open ended assignments in online learning. However, the tasks exist in other fields, for example, in the publication process, in the equipment and device production process, etc.&#13;
Complex open ended assignment quality control stage is ineffective due to time-consuming work of an&#13;
inspector, who checks the conformity of the tasks against the requirements and prepares feedback for a&#13;
performer. Intellectual support is beginning to be used for a series of tasks. Intellectual support is based&#13;
upon automatic task implementation classification with the use of machine learning. However,&#13;
automatic classification can bring to incorrect task implementation quality assessment. Also classifier&#13;
does not generate a detailed feedback, which fit for a revision of implemented task. A decision support&#13;
method based on error report clustering, which allows to create a detailed feedback on implemented&#13;
complex open ended assignments, is suggested in the paper. Special software, which in conjunction with&#13;
existing clustering system Carrot2 executes suggested method, is developed. The software is introduced&#13;
in online pre-defense of graduation qualification thesis process. This led to time reduction in feedback&#13;
preparing by an inspector.</p>
      </trans-abstract>
      <kwd-group xml:lang="ru">
        <kwd>поддержка принятия решений</kwd>
        <kwd>кластеризация текста</kwd>
        <kwd>алгоритм lingo</kwd>
        <kwd>сообщение об ошибке</kwd>
        <kwd>сложная открытая задач</kwd>
        <kwd>контроль качества</kwd>
      </kwd-group>
      <kwd-group xml:lang="en">
        <kwd>decision support</kwd>
        <kwd>text clustering</kwd>
        <kwd>lingo algorithm</kwd>
        <kwd>error report</kwd>
        <kwd>complex open ended assignment</kwd>
        <kwd>quality control</kwd>
      </kwd-group>
      <funding-group>
        <funding-statement xml:lang="ru">Исследование выполнено без спонсорской поддержки.</funding-statement>
        <funding-statement xml:lang="en">The study was performed without external funding.</funding-statement>
      </funding-group>
    </article-meta>
  </front>
  <back>
    <ref-list>
      <title>References</title>
      <ref id="cit1">
        <label>1</label>
        <mixed-citation xml:lang="ru">Латыпова В.А. Концепция управления процессом дистанционного&#13;
автоматизированного обучения при решении сложных открытых задач с&#13;
использованием банка ошибок. Моделирование, оптимизация и информационные&#13;
технологии. 2019;7(3). Доступно по адресу: moit.vivt.ru/wpcontent/uploads/2019/09/Latypova_3_19_1.pdf (дата обращения 28.09.2020). doi:&#13;
10.26102/2310-6018/2019.26.3.015&#13;
</mixed-citation>
      </ref>
      <ref id="cit2">
        <label>2</label>
        <mixed-citation xml:lang="ru">Balfour S. Assessing writing in MOOCs: automated essay scoring and calibrated peer&#13;
review. Research &amp; Practice in Assessment. 2013;8:40-48.&#13;
</mixed-citation>
      </ref>
      <ref id="cit3">
        <label>3</label>
        <mixed-citation xml:lang="ru">Heaven D. AI peer reviewers unleashed to ease publishing grind. Nature.&#13;
2018;563(7733):609-610. doi: 10.1038/d41586-018-07245-9.</mixed-citation>
      </ref>
      <ref id="cit4">
        <label>4</label>
        <mixed-citation xml:lang="ru">Кириченко К.М., Герасимов М.Б. Обзор методов кластеризации текстовой&#13;
информации. Материалы конференции Dialog. 2001. Доступно по адресу:&#13;
www.dialog-21.ru/digest/2001/articles/kirichenko (дата обращения 28.09.2020).</mixed-citation>
      </ref>
      <ref id="cit5">
        <label>5</label>
        <mixed-citation xml:lang="ru">Nagwani N.K., Verma S. Software Bug Classification using Suffix Tree Clustering (STC)&#13;
Algorithm. IJCST. 2011;2(1): 36-41.</mixed-citation>
      </ref>
      <ref id="cit6">
        <label>6</label>
        <mixed-citation xml:lang="ru">Hammad M., Alzyoudi R., Otoom A.F. Automatic clustering of bug reports. IJACR. 2018;&#13;
8(39):313-323. doi: 10.19101/IJACR.2018.839013.</mixed-citation>
      </ref>
      <ref id="cit7">
        <label>7</label>
        <mixed-citation xml:lang="ru">Osinski S., Stefanowski J., Weiss D. Lingo: search results clustering algorithm based on&#13;
singular value decomposition. Intelligent Information Processing and Web Mining.&#13;
Advances in Soft Computing. Springer, Berlin, Heidelberg. 2004;25:359-368. doi:&#13;
10.1007/978-3-540-39985-8_37.</mixed-citation>
      </ref>
      <ref id="cit8">
        <label>8</label>
        <mixed-citation xml:lang="ru">Osinski, S. An Algorithm for Clustering of Web Search Results. Master’s thesis. Poznan&#13;
University of Technology, Poland. 2003. Available from: citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.95.5832&amp;rep=rep1&amp;type=pdf&#13;
(accessed 28.09.2020).</mixed-citation>
      </ref>
      <ref id="cit9">
        <label>9</label>
        <mixed-citation xml:lang="ru">Попов М.П. Эффективные приемы набора и редактирования текста. СПб.:БХВПетербург. 2006.&#13;
</mixed-citation>
      </ref>
      <ref id="cit10">
        <label>10</label>
        <mixed-citation xml:lang="ru">Carrot2 official site. Available from: project.carrot2.org (accessed 28.09.2020).</mixed-citation>
      </ref>
      <ref id="cit11">
        <label>11</label>
        <mixed-citation xml:lang="ru">Латыпова В.А. Программа: банк ошибок. Свидетельство о регистрации программы&#13;
для ЭВМ RU 2016611178, 27.01.2016. Заявка № 2015619438 от 06.10.2015.</mixed-citation>
      </ref>
      <ref id="cit12">
        <label>12</label>
        <mixed-citation xml:lang="ru">Латыпова В.А. Программа сбора информации при управлении процессом обучения&#13;
при решении сложных открытых задач. Свидетельство о регистрации программы для&#13;
ЭВМ RU 2019663469, 17.10.2019. Заявка № 2019662317 от 07.10.2019.</mixed-citation>
      </ref>
    </ref-list>
    <fn-group>
      <fn fn-type="conflict">
        <p>The authors declare that there are no conflicts of interest present.</p>
      </fn>
    </fn-group>
  </back>
</article>