Preview

Стратегические решения и риск-менеджмент

Расширенный поиск

Современные тренды информатизации финансового маркетинга

https://doi.org/10.17747/2078-8886-2017-4-5-38-43

Полный текст:

Аннотация

Статья посвящена актуальной проблеме оценки эффективности консалтинговых методов. Управленческий консалтинг – развивающаяся сфера деятельности. Организационная диагностика является начальным этапом и во многом определяет будущий результат консалтинговой услуги. Выдвинута гипотеза, что экспертная оценка является оптимальной методикой в данных условиях. При проведении оценки эффективность методов оценивается с учетом затрат и результатов, и те и другие должны быть разбиты на ряд элементов. Именно эти элементы и подлежали оценке со стороны экспертов. Для подтверждения валидности полученных результатов используются статистические показатели: дисперсия случайной величины, стандартное отклонение и коэффициент вариации, которые подтверждают (или опровергают) результаты опроса экспертов. Для апробации методики был проведен опрос экспертов из числа сотрудников консалтинговых компаний г. Омска. Данные опроса подвергнуты анализу. Далее был сделан вывод о валидности полученных результатов опроса и возможности их практического применения. Практическая значимость проведенного исследования заключается в возможности применения методики опроса экспертов на практике. Целью подобных опросов станет регулярная переоценка и выявление необходимости использования для конкретных консалтинговых услуг определенных методов организационной диагностики.

Для цитирования:


Чибикова Т.В. Современные тренды информатизации финансового маркетинга. Стратегические решения и риск-менеджмент. 2017;(4-5):38-43. https://doi.org/10.17747/2078-8886-2017-4-5-38-43

For citation:


CHIBIKOVA T.V. Methodology of expert evaluation of effectiveness of methods of organizational diagnostics. Strategic decisions and risk management. 2017;(4-5):38-43. (In Russ.) https://doi.org/10.17747/2078-8886-2017-4-5-38-43

Введение

В настоящее время активное развитие рыноч­ных отношений привело к ускорению темпов разви­тия такой сферы деятельности, как управленческое консультирование. В регионах России формирова­ние рынка управленческого консультирования идет достаточно быстрыми темпами, это выражается в увеличении спроса на консультационные услуги.

Любая консультационная услуга предостав­ляется как набор методов. Первым и ключевым этапом является организационная диагностика. Именно поэтому оценка эффективности методов организационной диагностики играет важную роль в управленческом консалтинге (Алпатова Е.А., 2012), тем более что его результаты, качествен­ные и количественные, с трудом поддаются оценке (Иванов М. А., 2012, с. 128).

В статье представлены теоретическое обосно­вание и разработка методики оценки эффективно­сти методов организационной диагностики с ис­пользованием экспертного опроса.

В ряде отечественных и зарубежных иссле­дований приведены методики оценки эффектив­ности методов оргдиагностики. Так, В. А. Каска, К. Келли, Е.В. Христенсен предложили исполь­зовать для этих целей чувствительность (по отно­шению к практическим ситуациям), надежность (константная информация в стабильных условиях), конвергентность и дискриминантную валидность. Собственно критериями оценки эффективности яв­ляются низкая стоимость, очевидная валидность, статистическая валидность, надежность, уровень анализа, требуемое число участников, гибкость, способность давать качественные данные, опера­тивность (Caska В. A., Kelley К., Christensen Е. W., 2007).

А. О. Блинов, Г. Н. Бутырин, Е.В. Добренько- ва предлагают экономическую оценку эффектив­ности всех методов управленческого консалтин­га, в том числе организационной диагностики, с опорой на прирост валовой прибыли, снижение издержек, прирост объема валовой продукции (Блинов А. О., Бутырин Г. H., Добренькова Е.В., 2002, с. 49).

Мы же выдвигаем гипотезу о том, что экс­пертный опрос является оптимальным способом оценки эффективности методов диагностики. Основным критерием оптимальности является возможность оценивать как количественные (ис­числяемые), так и качественные (неисчисляемые) показатели. Именно экспертный метод позволяет давать оценку указанным группам показателей по единой оценочной шкале.

Апробация

Данная методика была апробирована на про­екте, в котором было задействовано четыре кон­сультанта и который был реализован в Омске. Данный проект был направлен на создание си­стемы оценки персонала на предприятии. Про­ект длился 2 недели, и его стоимость составила 160 тыс. руб.

Понятие эффективности консультационной услуги

В широком смысле эффективность представ­ляет собой степень приближения к максимально­му или оптимальному уровню результата при ми­нимальных затратах ресурсов. Соответственно, для определения эффективности консультацион­ных услуг необходимо описать, какой результат они дают.

He всегда есть возможность напрямую свя­зать оказание услуги с полученным результатом. Им можно считать как оптимизацию экономи­ческих показателей, так и повторное обращение клиента, повышение профессионализма персона­ла, развитие бренда организации и другие каче­ственные изменения (Блинов А. О., БутыринЕ. H., Добренькова Е.В., 2002, с. 50), которые сложно подвергнуть экономической оценке.

В целом результаты консультирования можно разделить на прямые и косвенные. И те и другие могут быть выражены как в количественной, так и в качественной форме (рис. 1).

Экспертный метод как инструмент оценивания

Именно экспертный метод позволяет исполь­зовать для оценки всех рассмотренных результа­тов единую шкалу, как это допускает экспертный метод. Экспертные оценки интересны тем, что позволяют обобщать аргументированные суждения специалистов-экспертов, основанные не толь­ко на знаниях, навыках и собственном опыте, но и на интуиции (Артюхов И.П., Еорбач И. А., Бакшеева С. JI. и др., 2012, с. 12). Для обеспече­ния качества экспертной информации должны быть соблюдены следующие условия:

  • экспертная комиссия, состоящая из специ­алистов, профессионально знакомых с объ­ектом экспертизы и имеющих опыт работы эксперта;
  • аналитическая группа, профессионально владеющая технологией организации и про­ведения экспертиз, методами получения и анализа экспертной информации;
  • единые показатели качества оцениваемого объекта;
  • единая шкала оценок, понятная всем экспер­там;
  • получение достоверной экспертной инфор­мации;
  • корректная обработка и анализ экспертной информации (Липатов С. А., 2004).

 

Puc 1. Результаты консалтинговой услуги

Объектом данного исследования является эф­фективность диагностических методов в управ­ленческом консалтинге, в качестве критериев оценки взяты основные переменные эффектив­ности: затраты и результаты применения метода, полученные компанией-заказчиком.

Затраты на консалтинговую услугу различают следующим образом:

  • временные:

о на подготовку диагностики;

о на проведение организационной диагно­стики;

о на анализ результатов;

  • финансовые:

о плата респондентам (например, сотруд­никам организации, клиентам) за интер­вью;

о аренда помещения;

о аренда мультимедийного оборудования;

о аренда оборудования для обработки ин­формации;

о канцелярские расходы;

о расходы на рекламу;

о расходы на печатную продукцию;

о оплата услуг лекторов, модераторов, экс­пертов (Липатов С. А., 2004).

Эксперты оценивают каждую составляющую затрат отдельно. Методика анализа полученных результатов будет представлена ниже.

Результаты предоставления услуги можно разделить на прямые и косвенные. К прямым ре­зультатам в литературе отнесены:

  • согласованное видение (картина) существу­ющего положения дел и круг основных про­блем организации;
  • выявление реально функционирующей си­стемы управления деятельностью органи­зации (ключевые фигуры и их взаимодей­ствие);
  • оценка способа функционирования организа­ции (порядок, принятие и реализация реше­ния и характер циркулирования информации);
  • определение типа и эффективности взаимоот­ношений между руководством и персоналом;
  • выявление зон конфликтности и предвари­тельный анализ причин конфликтов;
  • определение наиболее перспективных на­правлений развития;
  • оценка ресурсов развития и потенциала со­противления изменениям (линий наиболь­шего и наименьшего сопротивления) (Липа­тов С. А., 2004, с. 46).

 

Таблица 1

Статистические показатели валидности данных, полученных методом экспертного опроса

Показатель

Функция

Функция в Excel

Дисперсия случайной величины σ2

Показывает разброс оценок экспер­тов вокруг среднего значения

ДИСП

Стандартное отклонение s

Отражает, насколько широко раз­бросаны оценки экспертов относи­тельно их среднего значения

СТАНДОТКЛОН

Коэффициент вариации V

Показывает, какую долю среднего значения этой величины составля­ет ее средний разброс

Косвенными результатами считаются:

  • повышение мотивации оцениваемого персо­нала;
  • улучшение корпоративной культуры в орга­низации;
  • установление контактов с новыми клиентами;
  • обучение персонала новым методам работы.

Для оценки показателей эффективности экс­пертам была предложена одна и та же простая оценочная шкала от 1 до 5, где: 1 - «низкий», 2 - «ниже среднего», 3 - «среднее», 4 - «выше среднего», 5 - «высокий».

Для подбора экспертов мы использовали ме­тодику В.П. Граб (Граб В.П., 2005). К участию в экспертной оценке мы привлекли не менее пяти экспертов. Каждый эксперт оценивал затраты и результат по каждой из указанных категорий, выставляя балл.

Сложив баллы по всем показателям, полу­ченные от каждого опрошенного эксперта, мы находим две переменные: Cij - сумма баллов, установленных экспертом i при оценке затрат при использовании метода j; Rij - сумма баллов, установленных экспертом i при оценке результа­тов при использовании метода j.

Далее определим формулу, позволяющую определить среднее значение затрат, полученное по каждому отдельному методу j, полученное экс­пертным методом:

где n - число экспертов; ARj - среднее значение результатов использования метода j, полученное экспертным методом.

Эффективность метода Pj определяется по формуле:

Показатели эффективности P по каждому ме­тоду ранжируются по убыванию. 

Методика анализа полученных результатов

Как правило, при оценке согласованности мнений экспертов используется коэффициент конкордации (Поздняков С. А., Васильченко Р. Э., 2015). Мы предлагаем альтернативную методику, в которой используются дисперсия случайной величины, стандартное отклонение от среднего и коэффициент вариации (табл. 1).

Дисперсия случайной величины по данным наблюдений определяется по формуле:

где X- отдельные значения; X - среднее арифме­тическое по выборке; n - объем выборки.

Минимальное значение дисперсии 0 означает полное единодушие экспертов, отсутствие раз­броса мнений. Если σ2 = 0, то дальнейший расчет показателей s, W не имеет смысла. Однако такой результат расчета маловероятен, как и полное со­гласие экспертов. Поэтому необходимо восполь­зоваться дополнительными показателями оценки валидности среднего значения опроса экспертов: стандартным отклонением и коэффициентом ва­риации.

Стандартное отклонение определяется по формуле:

Стандартное отклонение позволяет уточнить показатель дисперсии. Их необходимо использо­вать в комплексе.

Коэффициент вариации определяется по фор­муле:

Если дисперсия и стандартное отклонение высоки, а коэффициент вариации превышает 33%, значит, результаты опроса не являются ва­лидными, не имеют практической значимости и не могут использоваться на практике. Эксперты разошлись во мнениях по поводу уровня эффек­тивности изучаемых методов, а следовательно, средний арифметический показатель их оценок не отражает общего мнения.

Для уточнения результатов следует допол­нительно использовать метод Дельфи, который позволит каждому эксперту рассмотреть резуль­таты проведенного опроса и сделать заключение о возможных причинах расхождения мнений. Ис­следование по методу Дельфи следует повторять не менее двух раз.

Апробация предложенной методики

Для апробации предложенной методики мы опросили экспертов - пятерых представителей различных организаций, оказывающих услуги консалтинга в Омске. Результаты и затраты оце­нивались по следующим проектам: разработка стандартов, разработка системы оплаты труда, управление продажами, оценка персонала, управ­ление по целям, хронометраж рабочего времени. Каждый эксперт выставлял балл по прямым и косвенным результатам.

В сумме эти баллы дали значение Rj. Ана­логично были получены данные опроса по по­казателю «Затраты», итоговая сумма обозначена как Ci. Ответы, полученные путем опроса, были сведены в табл. 2. В табл. 3 отражены средне­арифметические значения тех и других данных.

Для подтверждения результатов опроса, полу­ченного экспертным методом, оценим дисперсию случайной величины в оценке экспертов (табл. 4). Разброс незначителен, серьезным отклонением не является даже наибольшее значение 1,73 (метод «Диагностическое наблюдение» по пока­зателю «Результаты»), Оценка стандартного от­клонения по выборке показывает, что отклонение невелико. По всем методам и показателям размер коэффициента вариации низок, значительно ниже контрольного значения 33%. Это говорит об обо­снованности оценок экспертов, валидности и воз­можности использовать данные опроса в практической деятельности. По показателям «Результаты» и «Затраты» достовер­ность полученных данных высокая. Следовательно, будет целесообразно определить эффективность рассматри­ваемых методов с использованием фор­мулы (3).

 

Таблица 2

Опрос экспертов по показателям «Результаты методов организационной диагностики» и «Затраты на использование методов организационной диагностики»

Метод

Эксперт

Средне­арифмети­ческое AR

I

2

3

4

5

Результаты методов организационной диагностики

Диагностическое интервью

55

49

50

41

40

47

Диагностический семинар

34

36

43

32

38

36.6

Организационная самодиагностика

25

36

35

18

31

29

Диагностическое наблюдение

23

42

41

15

16

27.4

Экспертный анализ SWOT

28

38

39

24

17

29.2

Анализ управленческих решений

45

41

39

28

18

34.2

Затраты на использование методов организационной диагностики

Диагностическое интервью

55

55

50

39

45

48.8

Диагностический семинар

40

43

33

35

44

39

Организационная самодиагностика

28

41

34

16

29

29.6

Диагностическое наблюдение

21

34

35

28

35

30.6

Экспертный анализ SWOT

21

29

35

24

18

25.4

Анализ управленческих решений

36

35

20

29

15

27

 

Таблица 3

Результаты опроса экспертов по оценке затрат и результатов методов организационной диагностики

Метод организационной
диагностики

Среднее значение

затрат AC

результатов AR

Глубинное диагностическое интервью с клиентом

48.8

47

Диагностический семинар

39

36.6

Организационная самодиагностика

29.6

29

Диагностическое наблюдение

30.6

27.4

Экспертный анализ SWOT

25.4

29.2

Анализ управленческих решений

27

34.2

 

 

Таблица 4

Данные проверки результатов опроса экспертов

Метод организационной диагностики

Дисперсия

Стандартное

отклонение

Коэффициент

вариации

Среднее

значение

Эффек­тивность метода Р, %

Результаты

Затраты

Результаты

Затраты

Результаты

Затраты

Результаты

Затраты

Глубинное диагно­стическое интервью с клиентом

0.76

0.5

0.87

0.71

1.78

1.51

47

48.8

96.31

Диагностический

семинар

0.78

0.51

0.84

0.72

2.15

1.97

36.6

39

93.85

Организационная

самодиагностика

1.28

1.25

1.13

1.12

3.82

3.86

29

29.6

97.97

Диагностическое на­блюдение

1.73

0.73

1.32

0.85

4.31

3.10

27.4

30.6

89.54

Экспертный анализ SWOT

1.6

1.03

1.27

1.01

5.00

3.46

29.2

25.4

114.96

Анализ управленче­ских решений

1.65

1.33

1.29

1.15

4.78

3.36

34.2

27

126.67

Данные проверки результатов опроса экспертов

Оказалось, что эффективность мето­дов варьирует: наиболее эффективным оказался анализ управленческих реше­ний, наименее - диагностическое на­блюдение (см. табл. 4). Однако разница между максимальным и минимальным значениями составляет 37%, что не яв­ляется значительным отклонением.

Проверим результаты полученного опроса на нормальность с использова­нием Microsoft Excel (рис. 2).

Согласно данным гистограммы, распределение методов по уровню эф­фективности является близким к «нор­мальному», что говорит о том, что все методы относятся к одной общей группе. Разница по уровню эффективности показывает лишь не­большие отклонения, в целом же каждый метод может быть использован при практическом при­менении в организационной диагностике и в це­лом при оказании любой консалтинговой услуги.

 

Рис 2. Распределение методов организационной диагностики по уровню эффективности

Заключение

Экспертный опрос имеет важное значение в оценке всех рассмотренных методов организа­ционной диагностики, поскольку позволяет учи­тывать качественную результативность рассмо­тренных методов. Выделены основные критерии экспертной оценки затрат на реализацию метода и результатов, полученных от этого метода. Пред­ложена модель оценки эффективности методов организационной диагностики с использованием экспертного опроса.

Эксперимент показал, что предложенная ме­тодика имеет прикладное значение и может ис­пользоваться на практике при работе над крупны­ми консалтинговыми проектами. Относительно высокая себестоимость экспертного опроса мо­жет повлиять на конкурентоспособность проекта. Переменные, используемые в оценке, в дальней­шем должны корректироваться в зависимости от типа консалтинговой услуги, потребностей клиента.

Об авторе

Т. В. Чибикова
Омский государственный технический университет
Россия

Кандидат ист. наук, доцент кафедры «Организация и управление наукоемкими производствами». Омский государственный технический университет. Область научных интересов: управление персоналом, маркетинг.



Список литературы

1. Алпатова Е. А. (2012) Комплексная организационно-экономическая диагностика предприятия: теория и практика // Управление экономическими системами. URL: http://www.uecs.ru/uecs41-412012/item/1362-2012-05-28-05-47-39.

2. Артюхов И. П., Горбач Н. А., Бакшеева С. Л. и др. (2012) Экспертные оценки: методология и практика применения // Фундаментальные исследования. № 10. С. 11–15.

3. Блинов А. О., Бутырин Г. Н., Добренькова Е. В. (2002) Управленческий консалтинг корпоративных организаций. М.: Инфра-М. 192 с.

4. Граб В. П. (2005) Экспертная оценка показателей качества // Надежность и качество: Тр. междунар. симпозиума. Пенза׃ ПГТУ. С. 355–359.

5. Иванов М. А. (2012) Клиентцентрированный подход к управленческому консультированию // Вестник Московского университета. Сер. 14. Психология. № 1. С. 125–132.

6. Липатов С. А. (2004) Методы практической социальной психологии: Диагностика. Консультирование / Под ред. Ю. М. Жукова. М.: Аспект Пресс. С. 48–68.

7. Лисецкий Ю. М., Каревина Н. П. (2008) Об автоматизации экспертных оценок // Математичні машини і системи. № 1. С. 151–162.

8. Поздняков С. А., Васильченко Р. Э. (2015) Анализ качества опросников «Самодиагностика уровня креативности» и «Креативность в профессиональной деятельности» // Концепт. Спецвып. № 7. URL: http://e-koncept.ru/2015/75106.htm.

9. Caska B. А., Kelley K., Christensen E. W. (2007) Organizational needs assessment: technology and use. N.Y.: Institute of Management and Administration. 234 с.


Для цитирования:


Чибикова Т.В. Современные тренды информатизации финансового маркетинга. Стратегические решения и риск-менеджмент. 2017;(4-5):38-43. https://doi.org/10.17747/2078-8886-2017-4-5-38-43

For citation:


CHIBIKOVA T.V. Methodology of expert evaluation of effectiveness of methods of organizational diagnostics. Strategic decisions and risk management. 2017;(4-5):38-43. (In Russ.) https://doi.org/10.17747/2078-8886-2017-4-5-38-43

Просмотров: 216


ISSN 2618-947X (Print)
ISSN 2618-9984 (Online)