Method for determining the composition of an expert group. Development and implementation of the digital expert passport

Azariy Lapidus; Oleg Y. Mihal&#039;chenko; Aleksey Svinarchuk; Svetlana Chernova; Aleksandr Belkin

doi:doi:10.29039/2658-5340-2026-2-CP0036

Method for determining the composition of an expert group. Development and implementation of the digital expert passport

Submit manuscript

To cite

Citations:

METHOD FOR DETERMINING THE COMPOSITION OF AN EXPERT GROUP. DEVELOPMENT AND IMPLEMENTATION OF THE DIGITAL EXPERT PASSPORT

Journal: CONSTRUCTION PRODUCTION № 1 , 2026

Rubrics: ORIGINAL ARTICLES

Azariy Lapidus ¹

Oleg Y. Mihal'chenko ²

Aleksey Svinarchuk ³

Svetlana Chernova ⁴

Aleksandr Belkin ⁵

Author and publication information

Authors:

1. Moscow State University of Civil Engineering (Department of Technology and Organization of Construction Production, Head of the Department)

Russian Federation

2. The Novosibirsk State University of Architecture and Civil Engineering (kafedra tehnologii i organizacii stroitel'stva, docent)

Russian Federation

3. The Novosibirsk State University of Architecture and Civil Engineering (Department of Reinforced Concrete Structures, Associate Professor)

Russian Federation

4. The Novosibirsk State University of Architecture and Civil Engineering (kafedra tehnologii i organizacii stroitel'stva, professor)

Russian Federation

5. The Novosibirsk State University of Architecture and Civil Engineering (kafedra teoreticheskoy mehaniki, zaveduyuschiy kafedroy)

Russian Federation

Type:

Article

DOI:

https://doi.org/10.29039/2658-5340-2026-2-CP0036

ELocator :

CP0036

Status:

Published

Received:

07.12.2025

Accepted:

30.01.2026

Published:

31.03.2026

Subject area:

VAK Russia 2.1.7
VAK Russia 2.1.14
UDC 69.05
CSCSTI 67.01
Russian Classification of Professions by Education 08.00.00
Russian Library and Bibliographic Classification 38
Russian Trade and Bibliographic Classification 54
BISAC ARC000000 General

Language:

Russian

Keywords:

Digital Expert Passport (DEP), invariant competency matrix, expert-group selection, three-stage competency assessment model, Method of Integral Digital Expert Profiling (MIDEP), slicing planes, expert verification, Analytic Hierarchy Process (AHP)

Abstract and keywords

Abstract:
The article focuses on the development and scientific justification of the Digital Expert Passport (DEP), a new tool for systematic assessment, development, and verification of professional competencies of specialists involved in the examination of design documentation and engineering survey results. The aim of the study was to construct an invariant competency matrix and establish a methodological framework for selecting expert groups based on objective digital profiles. The methodology included a multi-stage analysis of 416 initial criteria proposed by a working group of 38 experts. The Delphi method was applied to aggregate and refine these criteria, resulting in an optimized set of 40 indicators structured into three stages: general criteria, hard skills, and soft skills. The resulting invariant competency matrix provides 100% coverage of the original semantic field while reducing structural entropy by 77%, demonstrating a high level of systematization. Based on this matrix, the Method of Integral Digital Expert Profile (MIDEP) was developed, enabling the selection of expert teams using the Analytic Hierarchy Process (AHP), recognized as the most effective approach for such tasks, including its application to construction-related expert assessments.

Keywords:
Digital Expert Passport (DEP), invariant competency matrix, expert-group selection, three-stage competency assessment model, Method of Integral Digital Expert Profiling (MIDEP), slicing planes, expert verification, Analytic Hierarchy Process (AHP)

Text

Введение

Современная экспертиза проектной документации и результатов инженерных изысканий предъявляет высокие требования к обоснованности решений и уровням подтверждённых профессиональных компетенций. В этих условиях возрастает потребность в цифровых инструментах, позволяющих фиксировать квалификацию экспертов в структурированном и измеримом виде.

Цифровой паспорт эксперта (ЦПЭ) рассматривается как модель, объединяющая ключевые характеристики профессиональной деятельности в единую систему, основанную на формализованных критериях с возможностью их количественного анализа.

Цель исследования — разработать методологию формирования цифрового профиля эксперта на базе инвариантной матрицы компетенций и создать механизм подбора экспертных команд. Гипотеза заключается в том, что использование многокритериального подхода обеспечивает построение компактной и содержательно полной модели, пригодной для автоматизированной верификации компетенций и определения состава экспертных команд. Анализ отечественных и зарубежных источников подтверждает ограниченную представленность подобных моделей, в том числе в области строительной экспертизы, что подчёркивает актуальность проведённой работы.

Материалы и методы

Исходными материалами исследования являются 416 критериев, предложенных членами рабочей группы по разработке ЦПЭ. Для их анализа использовались методы систематизации, тематического кодирования, экспертной ревизии, индукции, дедукции, статистического анализа и синтеза [1, 2, 3].

Основные методы исследования:
•   тематическое группирование исходных 416 критериев по 11 профессиональным доменам;
•   метод Дельфи (три цикла: идентификация избыточности, концептуальная унификация, консенсусная фильтрация);
•   моделирование — построение инвариантной матрицы компетенций;
•   определение энтропии Шеннона — оценка степени структурной компрессии;
•   метод анализа иерархий (МАИ) — определение состава экспертной группы;
•   методы оптимизации — построение алгоритмов подбора экспертных команд.

Исследование не применяло физическое оборудование, но опиралось на цифровые инструменты обработки данных и экспертную информационную базу.

Результаты

Разработка ЦПЭ опирается на принципы системного подхода и научно обоснованной оценки компетенций. Цель методики — сформировать комплексную модель профессионального профиля эксперта, отражающую знания, опыт и способность эффективно применять их в практической деятельности.

Для этого используется трёхэтапная структура критериев: Этап I — общие критерии, Этап II — hard skills, Этап III — soft skills, что позволяет одновременно учитывать профессиональные и личностные характеристики. Общие критерии описывают базовые параметры квалификации и опыта эксперта. Hard skills представляют собой измеряемые, документально подтверждаемые профессиональные компетенции. Soft skills характеризуют поведенческие и коммуникативные качества, определяющие эффективность взаимодействия, принятия решений и адаптации в профессиональной среде [4]. Трёхэтапная модель позволяет одновременно оценивать интеллектуальный, личностный и поведенческий потенциал эксперта, формируя основу для цифрового паспорта как инструмента анализа и развития компетенций [5].

Отбор критериев осуществлялся рабочей группой из 38 представителей 22 организаций – членов Ассоциации экспертиз России и приглашённых специалистов. В основе лежали принципы научной валидации экспертных суждений и доказательной верификации, реализованные через метод Дельфи (ручной экспертной ревизии) [6], при котором исходные данные проходят многоуровневый коллективный анализ и согласование аргументированных позиций. Базой послужили 416 критериев, полученных из 25 опросных листов членов рабочей группы, каждый из которых содержал обоснования, аргументы и комментарии по необходимости включения конкретного критерия. На рисунке 1 приведен фрагмент сводной таблицы с 2 из 416 предложенных критериев.

Рис. 1. Фрагмент сводной таблицы с 2 критериями из 416

Таким образом, исходный перечень представлял собой экспертно-семантическое поле (совокупность терминов и смыслов, охватывающих профессиональные, организационные и поведенческие характеристики), охватывающее весь спектр профессиональных, организационных и поведенческих характеристик экспертов. Все критерии были распределены по 11 тематическим таблицам, отражающим ключевые профессиональные домены – фактически на данном этапе было проведено тематическое кодирование (см. таблицу 1).

Таблица 1

Архитектура матрицы компетенций

Этап	Содержание этапа	Таблицы и специализация	Количество исходных критериев
I. Общие критерии	Универсальные профессиональные параметры, отражающие опыт, образование, квалификацию, устойчивость к рискам, вовлечённость	Таблица 1 — «Общие критерии»	27
II. Hard skills	Профессиональные знания, нормативная компетентность, владение технологиями и инструментами	Таблица 2 — Универсальные Hard skills (37) Таблица 3 — Hard skills (АР) — 38 Таблица 4 — Hard skills (КР) — 31 Таблица 5 — Hard skills (ЭО) — 38 Таблица 6 — Hard skills (ВК) — 37 Таблица 7 — Hard skills (ПБ) — 35 Таблица 8 — Hard skills (ООС) — 36 Таблица 9 — Hard skills (ИГИ) — 48 Таблица 10 — Hard skills (СД) — 50	350
III. Soft skills	Коммуникативные, когнитивные и организационные компетенции	Таблица 11 — Универсальные Soft skills	39

Данный этап обеспечил семантическую структуризацию поля компетенций и позволил выявить сферы смыслового пересечения и дублирования.

Затем был применён метод ручной экспертной ревизии, включавший три цикла коллективного анализа: устранение дублей, концептуальная унификация, консенсусная фильтрация. На этом этапе каждый критерий проходил три проверки:

Наличие документируемого подтверждения (объективизируемость);
Практическая значимость для оценки деятельности эксперта;
Отсутствие терминологического или смыслового дублирования.

В результате ревизии 416 исходных критериев были агрегированы и оптимизированы до 40 итоговых, чётко вписанных в трёхэтапную модель оценки компетенций (см. таблицу 2).

Таблица 2

Распределение итоговых критериев

Этап	Исходных критериев	Итоговых критериев	Среднее число исходных на 1 итоговый	Доля исходных от общего числа, %
I. Общие критерии	27	14	1.93	6.49%
II. Hard skills (всего 9 направлений)	350	10	35.0	84.13%
III. Soft skills	39	16	2.44	9.38%
Итого	416	40	10.4 (в среднем)	100%

Наибольшая степень агрегирования наблюдается во втором этапе — Hard skills, где каждый итоговый критерий обобщает в среднем 35 исходных позиций. Это закономерно, поскольку этап II охватывал восемь специализированных направлений экспертизы. В общих и soft-компетенциях укрупнение было минимальным, чтобы сохранить нюансы личностных и управленческих характеристик.

Следует отметить, что метод Дельфи соответствует современным принципам экспертологического анализа и построения компетентностных моделей, однако имеет принципиальную особенность — каждое решение принималось на основе реального коллективного суждения, а не математического усреднения [5]. Таким образом, сохранена семантическая целостность и полнота смыслов, исключена избыточность, но не утрачена многогранность исходной модели.

Оптимизированный перечень из 40 критериев стал инвариантной матрицей компетенций эксперта, пригодной для количественной и качественной оценки, самооценивания и цифрового ранжирования, при этом полностью отражающей все ключевые аспекты исходных 416 предложений, сохранив все смысловые ядра. Именно такой подход призван обеспечить высокую достоверность, прозрачность и научную воспроизводимость модели компетенций Цифрового паспорта эксперта.

Для количественной оценки изменения структурной сложности критериального набора был использован показатель энтропии Шеннона (1):

$H = -\sum^{k}_{i}{p_i}log_2{p_i}$ (1)

где $p_i$ — относительная доля критериев в i-й категории (таблице или этапе), k — число категорий.

Энтропия Шеннона — мера неопределённости, применяемая в теории информации [7]. Этот показатель позволил объективно сравнить исходную 11-табличную структуру и итоговую трёхэтапную модель. Снижение энтропии отражает уменьшение вариативности и «концентрацию» элементов в укрупнённых блоках, что естественно при переходе к более общей системной модели (см. таблицы 3 и 4).

Таблица 3

Определение исходной энтропии

№	count	$p_i = \frac{cunt_i}{416}$	$-{p_i}log_2{p_i}$
1	27	0.06490385	0.25608151
2	37	0.08894231	0.31049638
3	38	0.09134615	0.31537371
4	31	0.07451923	0.27916718
5	38	0.09134615	0.31537371
6	37	0.08894231	0.31049638
7	35	0.08413462	0.30045790
8	36	0.08653846	0.30552531
9	48	0.11538462	0.35947814
10	50	0.12019231	0.36737783
11	39	0.09375000	0.32015977
$H_{before} = -\sum^{11}_{i=1} - {p_i}log_2{p_i} \approx$			3.44

Таблица 4

Определение итоговой энтропии 3-х этапов: counts = [27, 350, 39]

№	count	$p_i =\frac{count_i}{416}$	$- {p_i}log_2{p_i}$
1	27	0.06490385	0.25608151
2	350	0.84134615	0.20968753
3	39	0.09375000	0.32015977
$H_{after} = -\sum^{11}_{i=1} - {p_i}log_2{p_i} \approx$

Сжимающий коэффициент (2):

$LC = 1 - \frac{H_{after}}{H_{before}} = 1 - \frac{0,79}{3,44}\approx 0,77$ (2)

Энтропийный анализ подтверждает, что уменьшение структурного разнообразия связано не с потерей смыслов, а с повышением степени систематизации. Сжимающий коэффициент LC фиксирует снижение вариативности распределения, а сохранность содержания обеспечивается ручным агрегированием по смысловым кластерам. Именно поэтому вклад доминирующей группы (p=0.84) даёт сильное падение H, но не приводит к утрате информации. Общая энтропия распределения сократилась на ≈77%, что указывает на высокую степень структурной компрессии при полном сохранении уникальных смысловых полей [8].

Каждая из 416 исходных позиций вошла в состав одного из 40 критериев: дубли и терминологические пересечения были устранены, а семантическая целостность сохранена. Применение метода Дельфи обеспечило корректное агрегирование данных и позволило сформировать системную, компактную и полностью покрывающую исходное поле модель компетенций.

Для упрощения работы с данными разработан программный комплекс для ЦПЭ с использованием современных технологий веб- и мобильной разработки и реализован в виде распределённой системы, включающей веб-портал.

Обсуждение

Полученные результаты подтверждают, что полученная модель компетенций эквивалентна исходному массиву данных: инвариантная матрица из 40 критериев обеспечивает полное смысловое покрытие при высокой структурной компрессии. Энтропийный анализ показал, что уменьшение вариативности не привело к потере информации и повысило системность модели. Применение методов анализа иерархий и оптимизации к цифровым профилям делает возможным автоматизированный подбор экспертных команд в соответствии с уровнем сложности объекта. Метод интегрального цифрового профиля эксперта (МИЦПЭ) демонстрирует высокую прикладную ценность и опирается на принципы МАИ, позволяющие сопоставлять цифровые профили с многокритериальными условиями применимости [9]. Ограничения связаны с необходимостью актуализации критериев, зависимостью части данных от самооценки и тем, что модель апробирована пока лишь на восьми из 43 направлениях аттестации. Требуется дальнейшее расширение областей применения и статистическая проверка устойчивости результатов на более широких выборках.

Заключение

Создание ЦПЭ открывает возможность формировать из базы участников оптимальные экспертные команды на основе заранее определённых цифровых профилей компетенций. Эти профили строятся методом интегрального цифрового профиля эксперта (МИЦПЭ), который формирует индивидуальную модель компетенций на базе инвариантной матрицы из 40 критериев. Виды, уровни, категории и классы рассматриваемых объектов используются на втором этапе — как секущие плоскости, позволяющие сопоставить требования конкретного объекта с готовыми профилями экспертов, а затем применить метод анализа иерархий для выбора состава команды. Такой подход обеспечит высокий уровень точности и объективности экспертных заключений.

References

1. Saaty T. L., Vargas L. G. Models, Methods, Concepts & Applications of the Analytic Hierarchy Process. — Springer, 2012. — 345 p. DOI: https://doi.org/10.1007/978-1-4614-3597-6

2. Beshelev S. D., Gurvich F. G. Matematiko-statisticheskie metody ekspertnykh otsenok [Mathematical and statistical methods of expert evaluation]. Moscow, Statistika Publ., 1980, 263 p.

3. Marycheva P. G. Metodika otsenki kompetentnosti ekspertov [Methodology for assessing expert competence]. Vestnik SGTU. Seriya: Tekhnicheskie nauki, 2018, no. 4, pp. 29–40. EDN: https://elibrary.ru/TIOYDN

4. Gutsykova S. V. Metod ekspertnykh otsenok. Teoriya i praktika [Expert evaluation method. Theory and practice]. Moscow, Institut psikhologii RAN, 2011, 144 p. EDN: https://elibrary.ru/RAXSYR

5. Sidel’nikov Yu. V. Sistemnyj analiz ekspertnogo prognozirovaniya [System analysis of expert forecasting]. Moscow, Moskovskij aviatsionnyj institut, 2007, 453 p.

6. Kukushkina S. N. Metod Del’fi v forsajt-proektakh [The Delphi method in foresight projects]. Forsajt, 2007, no. 1(1), pp. 68–72. DOI: https://doi.org/10.17323/1995-459X.2007.1.68.73; EDN: https://elibrary.ru/NQTVUZ

7. C. E. Shannon. A Mathematical Theory of Communication//The Bell System Technical Journal, Vol. 27, pp. 379–423, 623–656, July, October, 1948. DOI: https://doi.org/10.1002/j.1538-7305.1948.tb00917.x

8. Cover T. M., Thomas J. A. Elements of Information Theory. Wiley, 2006. DOI: https://doi.org/10.1002/047174882X EDN: https://elibrary.ru/SSWPAV

9. Lapidus A. A., Mikhalchenko O. Yu., Tkach A. A. Ispol’zovanie metoda analiza ierarkhij dlya ranzhirovaniya riskov pri stroitel’stve ob’ektov capital’nogo stroitel’stva [Using the Analytic Hierarchy Process for risk ranking in capital construction projects]. Trudy NGASU = Proceedings of the Novosibirsk State University of Architecture and Civil Engineering, 2025, vol. 28, no. 1(95), pp. 66–84.

Submit manuscript JATS XML