В настоящее время активное развитие рыноч­ных отношений привело к ускорению темпов разви­тия такой сферы деятельности, как управленческое консультирование. В регионах России формирова­ние рынка управленческого консультирования идет достаточно быстрыми темпами, это выражается в увеличении спроса на консультационные услуги.

Любая консультационная услуга предостав­ляется как набор методов. Первым и ключевым этапом является организационная диагностика. Именно поэтому оценка эффективности методов организационной диагностики играет важную роль в управленческом консалтинге (Алпатова Е.А., 2012), тем более что его результаты, качествен­ные и количественные, с трудом поддаются оценке (Иванов М. А., 2012, с. 128).

В статье представлены теоретическое обосно­вание и разработка методики оценки эффективно­сти методов организационной диагностики с ис­пользованием экспертного опроса.

В ряде отечественных и зарубежных иссле­дований приведены методики оценки эффектив­ности методов оргдиагностики. Так, В. А. Каска, К. Келли, Е.В. Христенсен предложили исполь­зовать для этих целей чувствительность (по отно­шению к практическим ситуациям), надежность (константная информация в стабильных условиях), конвергентность и дискриминантную валидность. Собственно критериями оценки эффективности яв­ляются низкая стоимость, очевидная валидность, статистическая валидность, надежность, уровень анализа, требуемое число участников, гибкость, способность давать качественные данные, опера­тивность (Caska В. A., Kelley К., Christensen Е. W., 2007).

А. О. Блинов, Г. Н. Бутырин, Е.В. Добренько- ва предлагают экономическую оценку эффектив­ности всех методов управленческого консалтин­га, в том числе организационной диагностики, с опорой на прирост валовой прибыли, снижение издержек, прирост объема валовой продукции (Блинов А. О., Бутырин Г. H., Добренькова Е.В., 2002, с. 49).

Мы же выдвигаем гипотезу о том, что экс­пертный опрос является оптимальным способом оценки эффективности методов диагностики. Основным критерием оптимальности является возможность оценивать как количественные (ис­числяемые), так и качественные (неисчисляемые) показатели. Именно экспертный метод позволяет давать оценку указанным группам показателей по единой оценочной шкале.

Данная методика была апробирована на про­екте, в котором было задействовано четыре кон­сультанта и который был реализован в Омске. Данный проект был направлен на создание си­стемы оценки персонала на предприятии. Про­ект длился 2 недели, и его стоимость составила 160 тыс. руб.

В широком смысле эффективность представ­ляет собой степень приближения к максимально­му или оптимальному уровню результата при ми­нимальных затратах ресурсов. Соответственно, для определения эффективности консультацион­ных услуг необходимо описать, какой результат они дают.

He всегда есть возможность напрямую свя­зать оказание услуги с полученным результатом. Им можно считать как оптимизацию экономи­ческих показателей, так и повторное обращение клиента, повышение профессионализма персона­ла, развитие бренда организации и другие каче­ственные изменения (Блинов А. О., БутыринЕ. H., Добренькова Е.В., 2002, с. 50), которые сложно подвергнуть экономической оценке.

В целом результаты консультирования можно разделить на прямые и косвенные. И те и другие могут быть выражены как в количественной, так и в качественной форме (рис. 1).

Именно экспертный метод позволяет исполь­зовать для оценки всех рассмотренных результа­тов единую шкалу, как это допускает экспертный метод. Экспертные оценки интересны тем, что позволяют обобщать аргументированные суждения специалистов-экспертов, основанные не толь­ко на знаниях, навыках и собственном опыте, но и на интуиции (Артюхов И.П., Еорбач И. А., Бакшеева С. JI. и др., 2012, с. 12). Для обеспече­ния качества экспертной информации должны быть соблюдены следующие условия:

Объектом данного исследования является эф­фективность диагностических методов в управ­ленческом консалтинге, в качестве критериев оценки взяты основные переменные эффектив­ности: затраты и результаты применения метода, полученные компанией-заказчиком.

Затраты на консалтинговую услугу различают следующим образом:

о на подготовку диагностики;

о на проведение организационной диагно­стики;

о на анализ результатов;

о плата респондентам (например, сотруд­никам организации, клиентам) за интер­вью;

о аренда помещения;

о аренда мультимедийного оборудования;

о аренда оборудования для обработки ин­формации;

о канцелярские расходы;

о расходы на рекламу;

о расходы на печатную продукцию;

о оплата услуг лекторов, модераторов, экс­пертов (Липатов С. А., 2004).

Эксперты оценивают каждую составляющую затрат отдельно. Методика анализа полученных результатов будет представлена ниже.

Результаты предоставления услуги можно разделить на прямые и косвенные. К прямым ре­зультатам в литературе отнесены:

Косвенными результатами считаются:

Для оценки показателей эффективности экс­пертам была предложена одна и та же простая оценочная шкала от 1 до 5, где: 1 - «низкий», 2 - «ниже среднего», 3 - «среднее», 4 - «выше среднего», 5 - «высокий».

Для подбора экспертов мы использовали ме­тодику В.П. Граб (Граб В.П., 2005). К участию в экспертной оценке мы привлекли не менее пяти экспертов. Каждый эксперт оценивал затраты и результат по каждой из указанных категорий, выставляя балл.

Сложив баллы по всем показателям, полу­ченные от каждого опрошенного эксперта, мы находим две переменные: Cij - сумма баллов, установленных экспертом i при оценке затрат при использовании метода j; Rij - сумма баллов, установленных экспертом i при оценке результа­тов при использовании метода j.

Далее определим формулу, позволяющую определить среднее значение затрат, полученное по каждому отдельному методу j, полученное экс­пертным методом:

где n - число экспертов; ARj - среднее значение результатов использования метода j, полученное экспертным методом.

Эффективность метода Pj определяется по формуле:

Показатели эффективности P по каждому ме­тоду ранжируются по убыванию. 

Как правило, при оценке согласованности мнений экспертов используется коэффициент конкордации (Поздняков С. А., Васильченко Р. Э., 2015). Мы предлагаем альтернативную методику, в которой используются дисперсия случайной величины, стандартное отклонение от среднего и коэффициент вариации (табл. 1).

Дисперсия случайной величины по данным наблюдений определяется по формуле:

где X- отдельные значения; X - среднее арифме­тическое по выборке; n - объем выборки.

Минимальное значение дисперсии 0 означает полное единодушие экспертов, отсутствие раз­броса мнений. Если σ2 = 0, то дальнейший расчет показателей s, W не имеет смысла. Однако такой результат расчета маловероятен, как и полное со­гласие экспертов. Поэтому необходимо восполь­зоваться дополнительными показателями оценки валидности среднего значения опроса экспертов: стандартным отклонением и коэффициентом ва­риации.

Стандартное отклонение определяется по формуле:

Стандартное отклонение позволяет уточнить показатель дисперсии. Их необходимо использо­вать в комплексе.

Коэффициент вариации определяется по фор­муле:

Если дисперсия и стандартное отклонение высоки, а коэффициент вариации превышает 33%, значит, результаты опроса не являются ва­лидными, не имеют практической значимости и не могут использоваться на практике. Эксперты разошлись во мнениях по поводу уровня эффек­тивности изучаемых методов, а следовательно, средний арифметический показатель их оценок не отражает общего мнения.

Для уточнения результатов следует допол­нительно использовать метод Дельфи, который позволит каждому эксперту рассмотреть резуль­таты проведенного опроса и сделать заключение о возможных причинах расхождения мнений. Ис­следование по методу Дельфи следует повторять не менее двух раз.

Для апробации предложенной методики мы опросили экспертов - пятерых представителей различных организаций, оказывающих услуги консалтинга в Омске. Результаты и затраты оце­нивались по следующим проектам: разработка стандартов, разработка системы оплаты труда, управление продажами, оценка персонала, управ­ление по целям, хронометраж рабочего времени. Каждый эксперт выставлял балл по прямым и косвенным результатам.

В сумме эти баллы дали значение Rj. Ана­логично были получены данные опроса по по­казателю «Затраты», итоговая сумма обозначена как Ci. Ответы, полученные путем опроса, были сведены в табл. 2. В табл. 3 отражены средне­арифметические значения тех и других данных.

Для подтверждения результатов опроса, полу­ченного экспертным методом, оценим дисперсию случайной величины в оценке экспертов (табл. 4). Разброс незначителен, серьезным отклонением не является даже наибольшее значение 1,73 (метод «Диагностическое наблюдение» по пока­зателю «Результаты»), Оценка стандартного от­клонения по выборке показывает, что отклонение невелико. По всем методам и показателям размер коэффициента вариации низок, значительно ниже контрольного значения 33%. Это говорит об обо­снованности оценок экспертов, валидности и воз­можности использовать данные опроса в практической деятельности. По показателям «Результаты» и «Затраты» достовер­ность полученных данных высокая. Следовательно, будет целесообразно определить эффективность рассматри­ваемых методов с использованием фор­мулы (3).

Оказалось, что эффективность мето­дов варьирует: наиболее эффективным оказался анализ управленческих реше­ний, наименее - диагностическое на­блюдение (см. табл. 4). Однако разница между максимальным и минимальным значениями составляет 37%, что не яв­ляется значительным отклонением.

Проверим результаты полученного опроса на нормальность с использова­нием Microsoft Excel (рис. 2).

Согласно данным гистограммы, распределение методов по уровню эф­фективности является близким к «нор­мальному», что говорит о том, что все методы относятся к одной общей группе. Разница по уровню эффективности показывает лишь не­большие отклонения, в целом же каждый метод может быть использован при практическом при­менении в организационной диагностике и в це­лом при оказании любой консалтинговой услуги.

Экспертный опрос имеет важное значение в оценке всех рассмотренных методов организа­ционной диагностики, поскольку позволяет учи­тывать качественную результативность рассмо­тренных методов. Выделены основные критерии экспертной оценки затрат на реализацию метода и результатов, полученных от этого метода. Пред­ложена модель оценки эффективности методов организационной диагностики с использованием экспертного опроса.

Эксперимент показал, что предложенная ме­тодика имеет прикладное значение и может ис­пользоваться на практике при работе над крупны­ми консалтинговыми проектами. Относительно высокая себестоимость экспертного опроса мо­жет повлиять на конкурентоспособность проекта. Переменные, используемые в оценке, в дальней­шем должны корректироваться в зависимости от типа консалтинговой услуги, потребностей клиента.