Сбор и обработка экспертных данных в методике оценки качества информационных систем «Ревизор»

В данной статье рассматривается процесс оценки согласованности экспертных данных и расчета конечного значения искомых (результирующих) показателей для методологии оценки качества информационных систем «Ревизор». Цель исследования состоит в решении задачи подбора и адаптации методик проведения опроса (онлайн-анкетирования) экспертов; оценки согласованности полученных данных; расчета конечного значения результирующих показателей по оценкам экспертов. Для проведения онлайн-анкетирования экспертов был адаптирован метод Дельфи. Его модификация заключается в следующем: после проведения раунда анкетирования необходимо определить согласованность мнений экспертов по каждому оцениваемому показателю и в случае, если согласованность экспертов по какому-либо из наборов оценок не достигнута, необходимо:1) получить от экспертов комментарии по оценкам «проблемных» (несогласованных) показателей; 2) организовать повторный раунд опроса, при этом перед началом повторного раунда каждый из участников получает комментарии экспертов по каждому из несогласованных вопросов. Данный этап будет повторяться до тех пор, пока мнения экспертов не станут согласованными. Оценку согласованности мнений экспертов предлагается производить путем расчета величины доверительного интервала. Для оценки итоговых значений показателей рекомендуется использовать медиану. Материалы статьи представляют практическую ценность для организаций различного профиля, проводящих оценку качества собственных информационных систем самостоятельно, и для ИТ-компаний, предоставляющих услуги по проведению данной оценки.

1. Dennis Louise A., Michael Fisher, Nicholas K. Lincoln, Alexei Lisitsa, Sandor M. Practical verification of decision-making in agent-based autonomous systems. Automated Software Engineering. 2016;23(3):305-359.

2. Gurvirender Tejay, Gurpreet Dhillon, Amita Goyal Chin. Data quality dimensions for information systems security: a theoretical exposition (invited paper). Security management, Integrity, and Internal Control in Information system. 2006;193:21-39.

3. Князева О.М., Мустафаева Н.Н. Методика оценки качества систем обработки данных вуза. Вестник Астраханского государственного технического университета. Серия: Управление, вычислительная техника и информатика. 2017; 2: 69-79.

4. Ажмухамедов И.М., Князева О.М. Комплексный критерий оценки качества информационных систем. Актуальные проблемы гуманитарных и естественных наук. 2017;4-6:14-17.

5. Романова О.М., Кургузкин К.Н. Разработка концепта программного обеспечения для методики оценки качества информационных систем «Ревизор». Моделирование, оптимизация и информационные технологии. 2018;2(21):354-367.

6. Ветренко Ю.И. Метод «Дельфи» в системе управления предприятием. Межвузовский сборник научных трудов «Экономика. Общество. Человек». 2016:132-135.

7. Сапарова Г.Б., Жусупова Э.М. Особенности применения метода «Дельфи» в компаниях сферы консультационных услуг. Известия Ошского технологического университета. 2016;1:44-47.

8. Алиева М.Ю., Арсланханова Ф.А. Метод Дельфи и особенности его применения в экономическом анализе. Сборник статей VIII Международной научно-практической конференции: в 2 частях «Инновационные научные исследования: теория, методология, практика». 2017:65-68.

9. Кузнецова Н.В. Метод Дельфи как инструмент актуализации ключевых компетенций личности в процессе профессиональной подготовки управленческих кадров. Социосфера. 2016;4:69-73.

10. Куприянова А.С. Специфика метода Дельфи как удаленного мозгового штурма. Материалы студенческой научной конференции «Методы управления: команды, решения, консалтинг». 2015:264-267.

11. Черноусова М.В. Методы экспертных оценок. Метод Дельфи. Международная научно-техническая конференция молодых ученых БГТУ ИМ. В.Г. Шухова. 2017:6575-6579.

12. Слабинская И.А., Слабинский Д.В., Бендерская О.Б. Особенности современного этапа развития комплексного анализа хозяйственной деятельности. Белгородский экономический вестник. 2015;1(77):95-100.