Главная страница | Контакты | Случайная страница Автомобили Астрономия Биология География Дом и сад Другие языки Другое Информатика История Культура Литература Логика Математика Медицина Металлургия Механика Образование Охрана труда Педагогика Политика Право Психология Религия Риторика Социология Спорт Строительство Технология Туризм Физика Философия Финансы Химия Черчение Экология Экономика Электроника

Метод экспертных оценок

Методы экспертных оценок используются для анализа и оценки результатов опросов, представленных экспертами, для прогно­зирования хода развития событий и явлений в будущем, для выдачи заключений на маркетинговые исследования.

Область применения экспертных методов:

а) в условиях отсутствия достаточно представительной и достоверной статистики относительно характеристик объекта;

б) в условиях большой неопределенности среды функциони­
рования объекта;

в) при средне- и долгосрочном прогнозировании объектов;

г) в условиях дефицита времени или в экстремальных ситуа­
циях.

Экспертная оценка необходима, когда нет надлежащей теоре­тической основы развития объекта. Степень достоверности экспертизы устанавливается по абсолютной частоте, с которой оценка эксперта в конечном итоге подтверждается последующими событиями. Существует две категории экспертов — это специали­сты узкого и широкого профиля, обеспечивающие формули­рование крупных проблем и построение моделей. Выбор экспертов для прогноза производится на основе их профессиональной ква­лификации. Однако не следует забывать и того обстоятельства, что первоклассный специалист не всегда может достаточно ква­лифицированно рассмотреть и понять общие, глобальные воп­росы. Для этой цели нужно привлекать экспертов независимого суждения, информированных, обладающих способностью к дер­занию и воображению.

«Эксперт» в дословном переводе с латинского языка означа­ет «опытный». Поэтому и в формализованном, и в нефор­мализованном способах определения эксперта значительное место занимают профессиональный опыт и развитая на его основе интуиция. Перечислим некоторые требования, которым должен удовлетворять эксперт: 1) оценки эксперта должны быть стабиль­ны во времени и транзитивны; 2) наличие дополнительной ин­формации о прогнозируемых признаках лишь улучшает оценку эксперта; 3) эксперт должен быть признанным специалистом в данной области знаний; 4) эксперт должен обладать некоторым опытом успешных прогнозов в данной области знаний.

Характеризуя экспертов, следует иметь в виду, что в резуль­тате выработки оценок могут иметь место ошибки двух видов. Ошибки первого вида известны как систематические, ошибки второго вида — как случайные. Эксперт, склонный к ошибкам первого вида, выдает значения, которые устойчиво отличаются от истинного в сторону увеличения или уменьшения. Полагают, что ошибки этого вида связаны со складом ума экспертов. Для коррекции систематических ошибок можно применять поправоч­ные коэффициенты или же использовать специально разработан­ные тренировочные игры.

Ошибки второго вида характеризуются величиной дисперсии. Исходя из анализа основных видов ошибок при вынесении экс-

S8

пертных суждений, можно добавить к рассмотренному ранее перечню требований к экспертам еще одно. Смысл его состоит в том, что следует предпочесть эксперта, оценки которого име­ют малую дисперсию и систематическое отклонение средней ошибки от нуля, эксперту со средней ошибкой, равной нулю, но с большей дисперсией. К сожалению, априори определить спо­собность человека делать правильные экспертные оценки невоз­можно.

Организация форм работы эксперта может быть программиро­ванной или непрограммированной, а деятельность эксперта может осуществляться в устной (интервью) либо в письменной форме (ответ на вопросы специальных таблиц экспертных оценок или свободное изложение по заданной теме).

Программирование формы работы эксперта предполагает:

• построение граф-модели объекта на базе ретроспективно­
го анализа; определение структуры таблиц экспертных оце­
нок или программы интервью на базе граф-модели объек­
та и целей экспертизы; определение типа и формы вопро­
сов в интервью;

• определение типа шкалы для вопросов; учет психологиче­
ских особенностей экспертизы при определении последо­
вательности вопросов; учет верифицирующих вопросов;
разработку логических приемов для последующего синтеза
прогнозных оценок в комплексных прогнозах объекта.

Организация стимулирования работы эксперта состоит в раз­работке:

• эвристических приемов и способов, облегчающих поиск про­
гнозной экспертной оценки; правовых норм, гарантирую­
щих эксперту оформление приоритета и авторства, а также
неразглашение всех научно-технических идей, выдвигае­
мых им в процессе экспертизы;

• форм моральной, профессиональной и материальной
заинтересованности эксперта в экспертных оценках; орга­
низационных форм работы эксперта (включение в план
работы и т.п.).

При решении задачи формирования экспертной группы необходимо выявить и стабилизировать работоспособную сеть экспертов. Способ стабилизации экспертной сети заключается в следующем. На основе анализа литературы по прогнозируемой проблеме выбирается любой специалист, имеющий несколько публикаций в данной области. К нему обращаются с просьбой

назвать 10 наиболее компетентных, по его мнению, специалис­тов по данной проблеме. Затем обращаются одновременно к каж­дому из десяти названных специалистов с просьбой указать 10 наиболее крупных их коллег-ученых. Из полученного спис­ка специалистов вычеркиваются 10 первоначальных, а остальным рассылаются письма, содержащие указанную выше просьбу. Дан­ную процедуру повторяют до тех пор, пока ни один из вновь на­званных специалистов не добавит новых фамилий к списку эк­спертов, т. е. пока не стабилизируется сеть экспертов. Полученную сеть экспертов можно считать генеральной совокупностью спе­циалистов, компетентных в области прогнозируемой проблемы. Однако в силу ряда практических ограничений оказывается не­целесообразным привлекать всех специалистов к экспертизе. Поэтому необходимо сформировать репрезентативную выборку из генеральной совокупности экспертов.

Экспертная оценка часто носит характер деловой игры. При ре­шении сложных проблем маркетингового исследования один спе­циалист не в состоянии учесть все факторы и взаимосвязи между ними или оценить вероятности большого числа альтернатив. Ис­пользование мнений группы экспертов предполагает, что органи­зованное взаимодействие между специалистами позволит компен­сировать смещения оценок отдельных членов группы и что сум­ма информации, имеющейся в распоряжении экспертов, будет больше, чем информация любого члена группы. Помимо погреш­ностей, возникающих вследствие недостатка информации, боль­шое влияние на результаты экспертизы оказывают смещения, вносимые процедурой сбора и анализа мнений экспертов. Основ­ными этапами проведения экспертизы являются:

1. Формулирование цели экспертизы и разработка процедуры оп­
роса. Наличие ясности цели является обязательным условием обес­
печения надежного результата экспертизы. Основой для выбора
цели является описание предыстории проблемы и ее специфи­
ческие особенности. Необходимо учесть и личные цели экспер­
тов. Если целей несколько, то оценки по различным шкалам
нужно свести к единой шкале, например за счет установления
цели более высокого уровня.

2. Формирование группы специалистов-аналитиков для разра­
ботки метода и модели опроса, отбор экспертов, проведение
опроса, анализ и обобщение информации. Группа аналитиков,
разрабатывая метод опроса, подготавливает перечень оценивае­
мых событий и устанавливает совокупность устойчивых факто­
ров, характеризующих эти события. Аналитики должны подго-

товить вспомогательные вопросы, позволяющие экспертам оп­ределить совокупность признаков на разных уровнях детализа­ции. Следует отметить, что излишняя детализация проблемы может привести к снижению надежности информации, получен­ной от экспертов.

Важное значение имеет формулировка вопросников (анкет), которая должна обеспечить их единственное толкование и вы­ражение ответа на каждый вопрос в виде количественной оцен­ки. В случаях, когда отдельным качественным признакам труд­но приписать количественную оценку, нужно оценивать срав­нительную интенсивность признака с помощью методов упорядочения.

Все вопросы анкеты в зависимости от их содержания можно разделить на три группы:

• объективные анкетные данные о самом эксперте;

• мотивы, которыми руководствуется эксперт при оценке;

• основные вопросы, касающиеся существа исследуемой про­
блемы.

По форме различают следующие типы вопросов: открытые и закрытые; прямые и косвенные. Вопрос называется открытым, или свободным, если ответ на него может быть дан в любой форме, т.е. ответ ничем не регламентирован. Вопрос называется закрытым, если в его формулировке содержатся варианты возможных ответов (пе­речень альтернатив) и эксперт должен остановить свой выбор на одном (или нескольких) из них. Одной из разновидностей закры­того вопроса является дихотомический, в котором перечень воз­можных вопросов исчерпывается альтернативой «да — нет».

Конкретный вопрос с определенным набором ответов на него называется признаком анкеты. Набор ответов может быть каче­ственного характера, когда задача эксперта заключается в выборе одного ответа из «веера» возможных, и количественного харак­тера, когда ответам на вопросы анкеты присваиваются числовые оценки.

Достоинство открытых вопросов заключается в возможности обнаружения с помощью экспертов новых, порой совершенно нео­жиданных для аналитиков аспектов проблемы. Недостатки это­го метода заключаются в том, что, во-первых, повышается ве­роятность произвольной интерпретации вопроса со стороны эк­спертов, что может привести в конечном счете к несопоставимости данных, полученных от группы экспертов, и во-вторых, в том, что анализ ответов на открытые вопросы — дело чрезвычайно тру­доемкое.

В противоположность этому преимущество закрытых вопро­сов состоит как раз в том, что они строго и однозначно интер­претируются и требуют относительно меньших затрат труда на заполнение и обработку анкет. Вместе с тем анкета с закрыты­ми вопросами таит в себе опасность навязывания эксперту от­ветов, особенно в тех случаях, когда по тому или иному вопро­су он вообще не имеет своего сложившегося мнения или же когда его мнение не совпадает с ответами анкеты.

Поэтому, если у аналитиков нет твердой уверенности в том, что все возможные альтернативы исчерпаны, следует предостав­лять возможность эксперту выдвигать свою альтернативу или уклониться от ответа на некоторые из поставленных вопросов.

Цель экспертизы может быть замаскирована, и тогда признаки анкеты могут быть косвенными. Такие анкеты применяются чаще всего в случаях, когда нет твердой уверенности, что эксперт по данному вопросу сумеет (захочет) дать определенную информа­цию.

Каждый метод опроса экспертов должен быть основан на учете взаимосвязи явно выраженных признаков и скрытой (латентной) переменной, связанной с определенным отношением эксперта к исследуемой проблеме. Эта взаимосвязь лучше всего может быть описана в терминах среднего балла признака для данного шкаль­ного балла. Для дихотомических признаков, когда позитивная реакция эксперта на признак получает балл 1, а негативная — О, средний балл признака х,. эквивалентен вероятности реакции р(х).

Методами, позволяющими оценить реакцию эксперта на кос­венные признаки, занимаются психологи и социологи. Практи­ческие успехи использования этих методов в настоящее время ограничены громоздкостью математических вычислений, часто не окупающихся точностью получаемых результатов. Однако дальнейшее развитие этих методов может служить предпосыл­кой повышения надежности экспертных оценок.

Серьезного внимания требует подбор признаков (вопросов), которые желательно включить в анкету. Различают три вида воп­росов, по которым дается экспертная оценка:

1) вопросы, ответы на которые содержат количественную
оценку;

2) вопросы, требующие содержательного ответа в сжатой форме;

3) вопросы, требующие содержательного ответа в разверну­
той форме.

Чтобы уточнить содержание, формулировки вопросов, их пос­ледовательность, выяснить, не утомляет ли анкета опрашивае-

мых, не нужно ли включить дополнительные и исключить «не­работающие» вопросы, заменить вопросы, допускающие двой­ное толкование, производится ее проверка. Для этого подби­раются «разноплановые» эксперты (по стажу работы, по специ­ализации и т.п.). Проверка осуществляется в форме личного интервью.

Полное совпадение мнений экспертов, стереотипность их от­ветов являются, как правило, результатом привычной, стандар­тной постановки вопроса. Многочисленность ответов типа «не понял», «не знаю» указывает на их усложненность. Наличие боль­шого числа неуместных замечаний свидетельствует о неудачной формулировке вопросов анкеты. Множество отказов от ответов означает, что плохо разработана вводная часть анкеты, в кото­рой должны быть разъяснены правила ее заполнения, сформу­лирована цель экспертизы, оговорены гарантии анонимности экспертов.

3. Отбор и формирование группы экспертов. Набор экспертов начинают с анализа проблемы и ее степени важности. Состав­ляя список экспертов, исходят прежде всего из их компетент­ности в решении стоящей проблемы. Одним из способов анализа пригодности экспертов к оценке является проведение тестиро­вания, в ходе которого, отвечая на вопросы, эксперты должны показать свою эрудицию и аналитические способности.

Точность групповой оценки существенно зависит от числа эк­спертов в группе (рис. 6.2). Уменьшение числа экспертов ведет к снижению точности оценки, поскольку на групповую оценку

Д

Число членов группы

Рис. 6.2. Роль численности группы в принятии ошибки

излишнее влияние оказывает оценка каждого из экспертов. В тоже время при очень большом числе экспертов становится сложно выявить их согласованное мнение из-за уменьшения роли тех суждений, которые хотя и отличаются от мнения большинства, однако далеко не всегда оказываются ошибочными.

Между этими величинами существует обратная связь, заклю­чающаяся в том, что средняя групповая ошибка монотонно убы­вает с возрастанием средней самооценки. Из этого вытекает сле­дующий вывод. Пусть, например, группа кандидатов в экспер­ты со средней оценкой С разделена на две подгруппы, из которых подгруппа А имеет более высокую самооценку, чем группа в целом, а подгруппа В — более низкую. Тогда подгруппа А будет в среднем более точной, чем вся группа, а подгруппа В — менее точной.

С другой стороны, различные подходы к оценке компетент­ности экспертов можно рассмотреть и с иных позиций. Экспер­тные оценки носят субъективный характер, оценка компетент­ности экспертов — также. Возникает вопрос: повышает ли точ­ность результатов экспертизы наложение субъективных оценок компетентности экспертов? Может быть, проще определять окон­чательные оценки без формализованного учета компетентности экспертов? Только при этом следует на этапе отбора экспертов уделить больше внимания неформальной оценке уровня их ква­лификации, а затем при подведении результатов экспертизы счи­тать их всех равнокомпетентными и в качестве интегральной оценки рассматривать среднеарифметическую их отдельных оце­нок. Часто на практике поступают именно таким образом.

4. Метод «Дельфи». Одним из наиболее перспективных методов формирования групповой оценки экспертов является метод «Дель­фи», получивший название от греческого города Дельфи и муд­рецов, славившихся в древности предсказаниями будущего. Метод представляет собой ряд последовательно осуществляемых про­цедур, направленных на формирование группового мнения по проблемам, по которым ощущается недостаток информации.

Процедуры, используемые в методе «Дельфи», характеризуются тремя основными чертами: анонимностью, регулируемой обрат­ной связью и групповым ответом. Анонимность достигается при­менением специальных вопросников или другими способами индивидуального опроса, например контактом экспертов с ЭВМ. Регулируемая обратная связь осуществляется за счет проведения нескольких туров опроса, причем результаты каждого тура об­рабатываются с помощью статистических методов и сообщают-

ся экспертам. С помощью статистических методов определения группового ответа можно уменьшить статистический разброс индивидуальных оценок и получить групповой ответ, в котором правильно отражено мнение каждого эксперта.

Если анонимность опроса является способом ослабления вли­яния отдельных «доминирующих» экспертов, то регулируемая об­ратная связь позволяет снизить «шумы», под которыми понима­ется влияние индивидуальных и групповых интересов, не свя­занных с решаемыми проблемами. Кроме того, введение обратной связи вносит элемент объективности и делает оценки более надеж­ными.

Проведение опроса в несколько туров, в течение которых осу­ществляется ряд последовательных итераций (экспертов инфор­мируют о результатах предыдущих этапов опроса и предлагают в ряде случаев обосновать свое мнение), позволяет уменьшить колебания в индивидуальных ответах, ограничивает внутригруп-повые колебания и имеет несомненные преимущества по срав­нению с «простым» статистическим объединением индивидуаль­ных мнений с помощью средних.

В основу метода «Дельфи» положены следующие предпосылки:

1) поставленные вопросы должны допускать возможность вы­
ражения ответа в виде числа;

2) эксперты должны располагать достаточной информацией
для того, чтобы дать оценку;

3) ответ на каждый из вопросов (оценка) должен быть обо­
снован экспертом.

Выявление преобладающих суждений с помощью метода «Дель­фи» позволяет сблизить точки зрения экспертов. Вместе с тем учитывается, что, несмотря на сближение оценок, различие бу­дет существовать и в конце опроса.

Рассмотрим, как используется метод «Дельфи» при подготовке прогнозов.

Первый тур опроса. Первая анкета может быть полностью бес­структурной и допускать любые ответы. Целью такой анкеты яв­ляется составление перечня событий для прогноза в определен­ной области маркетингового исследования. У этого подхода есть некоторые недостатки, которые рассматриваются ниже. Однако он обладает и значительными преимуществами, хотя и возлага­ет большую ответственность на экспертов, так как предполага­ется, что специалисты гораздо лучше, чем организаторы экспер­тизы, знают соответствующую область маркетинга.

Если анкета для первого тура опроса составлена так, что она ограничивает участников экспертизы в постановке проблем, то это может привести к тому, что группа не учтет или опустит некоторые события, которые, вполне возможно, имеют более важное значение для организатора, чем события, которые он представляет на рассмотрение группы. Полученный перечень со­бытий становится основой второй анкеты.

Второй тур опроса. Экспертам направляют сводный перечень событий и просят оценить даты, когда может произойти реали­зация этих событий. Их просят также привести соображения, по которым они считают свои оценки правильными, т.е. указать причины того, почему, по их мнению, то или иное событие не должно произойти раньше или позже прогнозируемой ими даты. Данная ими оценка даты наступления события может включать слово «никогда» или просто «позже», если для оценки был уста­новлен какой-либо временной горизонт.

После того как прогнозы и оценки дат, сделанные членами группы, вернулись к организатору, последний должен подгото­вить статистическую сводку мнений экспертов, упоминая аргу­менты и доводы в пользу того, что рассматриваемое событие произойдет раньше или позже «средней» оценки.

После второго тура опроса аналитики производят обработку полученных оценок: уточняют перечень событий и анализиру­ют характеристики ряда, т. е. рассчитывают медианы и кварти­ли. Величины этих квартилей в первом приближении равны зна­чениям оценок ряда в интервале, равном 25% от начала и 25% от конца ряда. Таким образом, медиана и два квартиля разбива­ют на оси ряда четыре интервала, среди которых квартили, ле­жащие от медианы, считаются наиболее предпочтительными.

Третий тур опроса. Третья анкета состоит из перечня собы­тий, групповой медианы дат наступления событий и верхнего и нижнего квартилей для каждого события, а также сводных дан^ ных о причинах более ранних или поздних оценок. Участников экспертизы просят рассмотреть аргументы и сформулировать но-. вые оценки предполагаемой даты наступления каждого события. Если новая оценка не попала в интервалы между квартилями, полученными во втором туре опроса, то их просят обосновать свою точку зрения. Если их оценка даты отличается от оценки ³/₄ участников экспертизы, их просят подтвердить эту оценку и показать, почему они считают аргументы большинства непра­вильными или неполными. После того, как пересмотренные оценки и новые аргументы возвратились к организатору, он опять

должен суммировать оценки группы, рассчитав новые медианы и новые квартили, суммировать аргументы, представленные с обеих сторон, и подготовить на этой основе новый прогноз.

Четвертый тур опроса. Участникам экспертизы вновь переда­ют перечень событий, статистическое описание оценок группы и аргументы обеих сторон. Эксперты должны принять во внимание аргументы и их критику и составить новый прогноз. При необ­ходимости организатор может потребовать от них новые аргументы. Получив прогнозы экспертов, снова рассчитывают медианы и квартили дат для каждого события. Поскольку этот тур опроса является последним, возможно, нет нужды анализировать аргу­менты и, следовательно, просить их представить. Если же группа не может прийти к согласованному (единому) мнению и органи­затор экспертизы заинтересуется аргументами обеих сторон, он собирает их и анализирует. Сам прогноз состоит из перечня со­бытий с соответствующими медианами и квартилями дат.

Практика показывает, что необязательно проводить все четыре тура опроса. Если эксперты пришли к соглашению во втором туре, то опрос можно прекратить. Это особенно справедливо в отно­шении тех событий, которые по общему мнению никогда не про­изойдут.

Анализ и обработка экспертных оценок. При проведении ана­лиза собранных экспертных данных в соответствии с целями ис­следования и принятыми моделями необходимо определить со­гласованность действий экспертов и достоверность экспертных оценок.

При рассмотрении некоторых маркетинговых ситуаций ока­зывается, что факторы, определяющие конечные результаты, не поддаются непосредственному измерению. Расположение этих факторов в порядке возрастания или убывания какого-либо при­сущего им свойства называется ранжированием. Ранжирование позволяет выбрать из исследуемой совокупности факторов наи­более существенный. Ранжирование используется в следующих ситуациях.

1. Когда необходимо упорядочить какие-либо маркетинговые
явления (объекты) во времени или пространстве. Это ситуация,
когда интересуются не сравнением степени выраженности какого-
либо их качества, а лишь взаимным пространственным или вре­
менным расположением этих явлений (объектов).

2. Когда нужно упорядочить объекты в соответствии с каким-
либо качеством, но при этом не требуется производить его точ­
ное измерение.

3. Когда какое-либо качество в принципе измеримо, однако в настоящий момент не может быть измерено по причинам прак­тического или теоретического характера.

Рассмотрим существо процедуры ранжирования подробнее. При ранжировании эксперт должен расположить объекты (аль­тернативы) в порядке, который представляется ему наиболее ра­циональным, и приписать каждому из них числа натурального ряда — ранги. При этом ранг 1 получает наиболее предпочти­тельная альтернатива, а ранг N — наименее предпочтительная.

Следовательно, порядковая шкала, получаемая в результате ранжирования, должна удовлетворять условию равенства числа рангов N числу ранжируемых объектов и.

Бывает так, что эксперт не в состоянии указать порядок сле­дования для двух или нескольких объектов либо он присваива­ет разным объектам один и тот же ранг, и в результате число рангов доказывается не равным числу ранжируемых объектов п. В таких случаях объектам приписывают так называемые стан­дартизированные ранги. С этой целью общее число стандарти­зированных рангов полагают равным п, а объектам, имеющим одинаковые ранги, присваивают стандартизированный ранг, зна­чение которого представляет среднее суммы мест, поделенных между собой объектами с одинаковыми рангами.

Пусть, например, шести объектам (альтернативам, факторам) экспертами присвоены следующие ранги (табл. 6.7):

Таблица 6 7