Читайте также:
|
|
Методы экспертных оценок используются для анализа и оценки результатов опросов, представленных экспертами, для прогнозирования хода развития событий и явлений в будущем, для выдачи заключений на маркетинговые исследования.
Область применения экспертных методов:
а) в условиях отсутствия достаточно представительной и достоверной статистики относительно характеристик объекта;
б) в условиях большой неопределенности среды функциони
рования объекта;
в) при средне- и долгосрочном прогнозировании объектов;
г) в условиях дефицита времени или в экстремальных ситуа
циях.
Экспертная оценка необходима, когда нет надлежащей теоретической основы развития объекта. Степень достоверности экспертизы устанавливается по абсолютной частоте, с которой оценка эксперта в конечном итоге подтверждается последующими событиями. Существует две категории экспертов — это специалисты узкого и широкого профиля, обеспечивающие формулирование крупных проблем и построение моделей. Выбор экспертов для прогноза производится на основе их профессиональной квалификации. Однако не следует забывать и того обстоятельства, что первоклассный специалист не всегда может достаточно квалифицированно рассмотреть и понять общие, глобальные вопросы. Для этой цели нужно привлекать экспертов независимого суждения, информированных, обладающих способностью к дерзанию и воображению.
«Эксперт» в дословном переводе с латинского языка означает «опытный». Поэтому и в формализованном, и в неформализованном способах определения эксперта значительное место занимают профессиональный опыт и развитая на его основе интуиция. Перечислим некоторые требования, которым должен удовлетворять эксперт: 1) оценки эксперта должны быть стабильны во времени и транзитивны; 2) наличие дополнительной информации о прогнозируемых признаках лишь улучшает оценку эксперта; 3) эксперт должен быть признанным специалистом в данной области знаний; 4) эксперт должен обладать некоторым опытом успешных прогнозов в данной области знаний.
Характеризуя экспертов, следует иметь в виду, что в результате выработки оценок могут иметь место ошибки двух видов. Ошибки первого вида известны как систематические, ошибки второго вида — как случайные. Эксперт, склонный к ошибкам первого вида, выдает значения, которые устойчиво отличаются от истинного в сторону увеличения или уменьшения. Полагают, что ошибки этого вида связаны со складом ума экспертов. Для коррекции систематических ошибок можно применять поправочные коэффициенты или же использовать специально разработанные тренировочные игры.
Ошибки второго вида характеризуются величиной дисперсии. Исходя из анализа основных видов ошибок при вынесении экс-
S8
пертных суждений, можно добавить к рассмотренному ранее перечню требований к экспертам еще одно. Смысл его состоит в том, что следует предпочесть эксперта, оценки которого имеют малую дисперсию и систематическое отклонение средней ошибки от нуля, эксперту со средней ошибкой, равной нулю, но с большей дисперсией. К сожалению, априори определить способность человека делать правильные экспертные оценки невозможно.
Организация форм работы эксперта может быть программированной или непрограммированной, а деятельность эксперта может осуществляться в устной (интервью) либо в письменной форме (ответ на вопросы специальных таблиц экспертных оценок или свободное изложение по заданной теме).
Программирование формы работы эксперта предполагает:
• построение граф-модели объекта на базе ретроспективно
го анализа; определение структуры таблиц экспертных оце
нок или программы интервью на базе граф-модели объек
та и целей экспертизы; определение типа и формы вопро
сов в интервью;
• определение типа шкалы для вопросов; учет психологиче
ских особенностей экспертизы при определении последо
вательности вопросов; учет верифицирующих вопросов;
разработку логических приемов для последующего синтеза
прогнозных оценок в комплексных прогнозах объекта.
Организация стимулирования работы эксперта состоит в разработке:
• эвристических приемов и способов, облегчающих поиск про
гнозной экспертной оценки; правовых норм, гарантирую
щих эксперту оформление приоритета и авторства, а также
неразглашение всех научно-технических идей, выдвигае
мых им в процессе экспертизы;
• форм моральной, профессиональной и материальной
заинтересованности эксперта в экспертных оценках; орга
низационных форм работы эксперта (включение в план
работы и т.п.).
При решении задачи формирования экспертной группы необходимо выявить и стабилизировать работоспособную сеть экспертов. Способ стабилизации экспертной сети заключается в следующем. На основе анализа литературы по прогнозируемой проблеме выбирается любой специалист, имеющий несколько публикаций в данной области. К нему обращаются с просьбой
назвать 10 наиболее компетентных, по его мнению, специалистов по данной проблеме. Затем обращаются одновременно к каждому из десяти названных специалистов с просьбой указать 10 наиболее крупных их коллег-ученых. Из полученного списка специалистов вычеркиваются 10 первоначальных, а остальным рассылаются письма, содержащие указанную выше просьбу. Данную процедуру повторяют до тех пор, пока ни один из вновь названных специалистов не добавит новых фамилий к списку экспертов, т. е. пока не стабилизируется сеть экспертов. Полученную сеть экспертов можно считать генеральной совокупностью специалистов, компетентных в области прогнозируемой проблемы. Однако в силу ряда практических ограничений оказывается нецелесообразным привлекать всех специалистов к экспертизе. Поэтому необходимо сформировать репрезентативную выборку из генеральной совокупности экспертов.
Экспертная оценка часто носит характер деловой игры. При решении сложных проблем маркетингового исследования один специалист не в состоянии учесть все факторы и взаимосвязи между ними или оценить вероятности большого числа альтернатив. Использование мнений группы экспертов предполагает, что организованное взаимодействие между специалистами позволит компенсировать смещения оценок отдельных членов группы и что сумма информации, имеющейся в распоряжении экспертов, будет больше, чем информация любого члена группы. Помимо погрешностей, возникающих вследствие недостатка информации, большое влияние на результаты экспертизы оказывают смещения, вносимые процедурой сбора и анализа мнений экспертов. Основными этапами проведения экспертизы являются:
1. Формулирование цели экспертизы и разработка процедуры оп
роса. Наличие ясности цели является обязательным условием обес
печения надежного результата экспертизы. Основой для выбора
цели является описание предыстории проблемы и ее специфи
ческие особенности. Необходимо учесть и личные цели экспер
тов. Если целей несколько, то оценки по различным шкалам
нужно свести к единой шкале, например за счет установления
цели более высокого уровня.
2. Формирование группы специалистов-аналитиков для разра
ботки метода и модели опроса, отбор экспертов, проведение
опроса, анализ и обобщение информации. Группа аналитиков,
разрабатывая метод опроса, подготавливает перечень оценивае
мых событий и устанавливает совокупность устойчивых факто
ров, характеризующих эти события. Аналитики должны подго-
товить вспомогательные вопросы, позволяющие экспертам определить совокупность признаков на разных уровнях детализации. Следует отметить, что излишняя детализация проблемы может привести к снижению надежности информации, полученной от экспертов.
Важное значение имеет формулировка вопросников (анкет), которая должна обеспечить их единственное толкование и выражение ответа на каждый вопрос в виде количественной оценки. В случаях, когда отдельным качественным признакам трудно приписать количественную оценку, нужно оценивать сравнительную интенсивность признака с помощью методов упорядочения.
Все вопросы анкеты в зависимости от их содержания можно разделить на три группы:
• объективные анкетные данные о самом эксперте;
• мотивы, которыми руководствуется эксперт при оценке;
• основные вопросы, касающиеся существа исследуемой про
блемы.
По форме различают следующие типы вопросов: открытые и закрытые; прямые и косвенные. Вопрос называется открытым, или свободным, если ответ на него может быть дан в любой форме, т.е. ответ ничем не регламентирован. Вопрос называется закрытым, если в его формулировке содержатся варианты возможных ответов (перечень альтернатив) и эксперт должен остановить свой выбор на одном (или нескольких) из них. Одной из разновидностей закрытого вопроса является дихотомический, в котором перечень возможных вопросов исчерпывается альтернативой «да — нет».
Конкретный вопрос с определенным набором ответов на него называется признаком анкеты. Набор ответов может быть качественного характера, когда задача эксперта заключается в выборе одного ответа из «веера» возможных, и количественного характера, когда ответам на вопросы анкеты присваиваются числовые оценки.
Достоинство открытых вопросов заключается в возможности обнаружения с помощью экспертов новых, порой совершенно неожиданных для аналитиков аспектов проблемы. Недостатки этого метода заключаются в том, что, во-первых, повышается вероятность произвольной интерпретации вопроса со стороны экспертов, что может привести в конечном счете к несопоставимости данных, полученных от группы экспертов, и во-вторых, в том, что анализ ответов на открытые вопросы — дело чрезвычайно трудоемкое.
В противоположность этому преимущество закрытых вопросов состоит как раз в том, что они строго и однозначно интерпретируются и требуют относительно меньших затрат труда на заполнение и обработку анкет. Вместе с тем анкета с закрытыми вопросами таит в себе опасность навязывания эксперту ответов, особенно в тех случаях, когда по тому или иному вопросу он вообще не имеет своего сложившегося мнения или же когда его мнение не совпадает с ответами анкеты.
Поэтому, если у аналитиков нет твердой уверенности в том, что все возможные альтернативы исчерпаны, следует предоставлять возможность эксперту выдвигать свою альтернативу или уклониться от ответа на некоторые из поставленных вопросов.
Цель экспертизы может быть замаскирована, и тогда признаки анкеты могут быть косвенными. Такие анкеты применяются чаще всего в случаях, когда нет твердой уверенности, что эксперт по данному вопросу сумеет (захочет) дать определенную информацию.
Каждый метод опроса экспертов должен быть основан на учете взаимосвязи явно выраженных признаков и скрытой (латентной) переменной, связанной с определенным отношением эксперта к исследуемой проблеме. Эта взаимосвязь лучше всего может быть описана в терминах среднего балла признака для данного шкального балла. Для дихотомических признаков, когда позитивная реакция эксперта на признак получает балл 1, а негативная — О, средний балл признака х,. эквивалентен вероятности реакции р(х).
Методами, позволяющими оценить реакцию эксперта на косвенные признаки, занимаются психологи и социологи. Практические успехи использования этих методов в настоящее время ограничены громоздкостью математических вычислений, часто не окупающихся точностью получаемых результатов. Однако дальнейшее развитие этих методов может служить предпосылкой повышения надежности экспертных оценок.
Серьезного внимания требует подбор признаков (вопросов), которые желательно включить в анкету. Различают три вида вопросов, по которым дается экспертная оценка:
1) вопросы, ответы на которые содержат количественную
оценку;
2) вопросы, требующие содержательного ответа в сжатой форме;
3) вопросы, требующие содержательного ответа в разверну
той форме.
Чтобы уточнить содержание, формулировки вопросов, их последовательность, выяснить, не утомляет ли анкета опрашивае-
мых, не нужно ли включить дополнительные и исключить «неработающие» вопросы, заменить вопросы, допускающие двойное толкование, производится ее проверка. Для этого подбираются «разноплановые» эксперты (по стажу работы, по специализации и т.п.). Проверка осуществляется в форме личного интервью.
Полное совпадение мнений экспертов, стереотипность их ответов являются, как правило, результатом привычной, стандартной постановки вопроса. Многочисленность ответов типа «не понял», «не знаю» указывает на их усложненность. Наличие большого числа неуместных замечаний свидетельствует о неудачной формулировке вопросов анкеты. Множество отказов от ответов означает, что плохо разработана вводная часть анкеты, в которой должны быть разъяснены правила ее заполнения, сформулирована цель экспертизы, оговорены гарантии анонимности экспертов.
3. Отбор и формирование группы экспертов. Набор экспертов начинают с анализа проблемы и ее степени важности. Составляя список экспертов, исходят прежде всего из их компетентности в решении стоящей проблемы. Одним из способов анализа пригодности экспертов к оценке является проведение тестирования, в ходе которого, отвечая на вопросы, эксперты должны показать свою эрудицию и аналитические способности.
Точность групповой оценки существенно зависит от числа экспертов в группе (рис. 6.2). Уменьшение числа экспертов ведет к снижению точности оценки, поскольку на групповую оценку
![]() |
Д
Число членов группы
Рис. 6.2. Роль численности группы в принятии ошибки
излишнее влияние оказывает оценка каждого из экспертов. В тоже время при очень большом числе экспертов становится сложно выявить их согласованное мнение из-за уменьшения роли тех суждений, которые хотя и отличаются от мнения большинства, однако далеко не всегда оказываются ошибочными.
Между этими величинами существует обратная связь, заключающаяся в том, что средняя групповая ошибка монотонно убывает с возрастанием средней самооценки. Из этого вытекает следующий вывод. Пусть, например, группа кандидатов в эксперты со средней оценкой С разделена на две подгруппы, из которых подгруппа А имеет более высокую самооценку, чем группа в целом, а подгруппа В — более низкую. Тогда подгруппа А будет в среднем более точной, чем вся группа, а подгруппа В — менее точной.
С другой стороны, различные подходы к оценке компетентности экспертов можно рассмотреть и с иных позиций. Экспертные оценки носят субъективный характер, оценка компетентности экспертов — также. Возникает вопрос: повышает ли точность результатов экспертизы наложение субъективных оценок компетентности экспертов? Может быть, проще определять окончательные оценки без формализованного учета компетентности экспертов? Только при этом следует на этапе отбора экспертов уделить больше внимания неформальной оценке уровня их квалификации, а затем при подведении результатов экспертизы считать их всех равнокомпетентными и в качестве интегральной оценки рассматривать среднеарифметическую их отдельных оценок. Часто на практике поступают именно таким образом.
4. Метод «Дельфи». Одним из наиболее перспективных методов формирования групповой оценки экспертов является метод «Дельфи», получивший название от греческого города Дельфи и мудрецов, славившихся в древности предсказаниями будущего. Метод представляет собой ряд последовательно осуществляемых процедур, направленных на формирование группового мнения по проблемам, по которым ощущается недостаток информации.
Процедуры, используемые в методе «Дельфи», характеризуются тремя основными чертами: анонимностью, регулируемой обратной связью и групповым ответом. Анонимность достигается применением специальных вопросников или другими способами индивидуального опроса, например контактом экспертов с ЭВМ. Регулируемая обратная связь осуществляется за счет проведения нескольких туров опроса, причем результаты каждого тура обрабатываются с помощью статистических методов и сообщают-
ся экспертам. С помощью статистических методов определения группового ответа можно уменьшить статистический разброс индивидуальных оценок и получить групповой ответ, в котором правильно отражено мнение каждого эксперта.
Если анонимность опроса является способом ослабления влияния отдельных «доминирующих» экспертов, то регулируемая обратная связь позволяет снизить «шумы», под которыми понимается влияние индивидуальных и групповых интересов, не связанных с решаемыми проблемами. Кроме того, введение обратной связи вносит элемент объективности и делает оценки более надежными.
Проведение опроса в несколько туров, в течение которых осуществляется ряд последовательных итераций (экспертов информируют о результатах предыдущих этапов опроса и предлагают в ряде случаев обосновать свое мнение), позволяет уменьшить колебания в индивидуальных ответах, ограничивает внутригруп-повые колебания и имеет несомненные преимущества по сравнению с «простым» статистическим объединением индивидуальных мнений с помощью средних.
В основу метода «Дельфи» положены следующие предпосылки:
1) поставленные вопросы должны допускать возможность вы
ражения ответа в виде числа;
2) эксперты должны располагать достаточной информацией
для того, чтобы дать оценку;
3) ответ на каждый из вопросов (оценка) должен быть обо
снован экспертом.
Выявление преобладающих суждений с помощью метода «Дельфи» позволяет сблизить точки зрения экспертов. Вместе с тем учитывается, что, несмотря на сближение оценок, различие будет существовать и в конце опроса.
Рассмотрим, как используется метод «Дельфи» при подготовке прогнозов.
Первый тур опроса. Первая анкета может быть полностью бесструктурной и допускать любые ответы. Целью такой анкеты является составление перечня событий для прогноза в определенной области маркетингового исследования. У этого подхода есть некоторые недостатки, которые рассматриваются ниже. Однако он обладает и значительными преимуществами, хотя и возлагает большую ответственность на экспертов, так как предполагается, что специалисты гораздо лучше, чем организаторы экспертизы, знают соответствующую область маркетинга.
Если анкета для первого тура опроса составлена так, что она ограничивает участников экспертизы в постановке проблем, то это может привести к тому, что группа не учтет или опустит некоторые события, которые, вполне возможно, имеют более важное значение для организатора, чем события, которые он представляет на рассмотрение группы. Полученный перечень событий становится основой второй анкеты.
Второй тур опроса. Экспертам направляют сводный перечень событий и просят оценить даты, когда может произойти реализация этих событий. Их просят также привести соображения, по которым они считают свои оценки правильными, т.е. указать причины того, почему, по их мнению, то или иное событие не должно произойти раньше или позже прогнозируемой ими даты. Данная ими оценка даты наступления события может включать слово «никогда» или просто «позже», если для оценки был установлен какой-либо временной горизонт.
После того как прогнозы и оценки дат, сделанные членами группы, вернулись к организатору, последний должен подготовить статистическую сводку мнений экспертов, упоминая аргументы и доводы в пользу того, что рассматриваемое событие произойдет раньше или позже «средней» оценки.
После второго тура опроса аналитики производят обработку полученных оценок: уточняют перечень событий и анализируют характеристики ряда, т. е. рассчитывают медианы и квартили. Величины этих квартилей в первом приближении равны значениям оценок ряда в интервале, равном 25% от начала и 25% от конца ряда. Таким образом, медиана и два квартиля разбивают на оси ряда четыре интервала, среди которых квартили, лежащие от медианы, считаются наиболее предпочтительными.
Третий тур опроса. Третья анкета состоит из перечня событий, групповой медианы дат наступления событий и верхнего и нижнего квартилей для каждого события, а также сводных дан^ ных о причинах более ранних или поздних оценок. Участников экспертизы просят рассмотреть аргументы и сформулировать но-. вые оценки предполагаемой даты наступления каждого события. Если новая оценка не попала в интервалы между квартилями, полученными во втором туре опроса, то их просят обосновать свою точку зрения. Если их оценка даты отличается от оценки 3/4 участников экспертизы, их просят подтвердить эту оценку и показать, почему они считают аргументы большинства неправильными или неполными. После того, как пересмотренные оценки и новые аргументы возвратились к организатору, он опять
должен суммировать оценки группы, рассчитав новые медианы и новые квартили, суммировать аргументы, представленные с обеих сторон, и подготовить на этой основе новый прогноз.
Четвертый тур опроса. Участникам экспертизы вновь передают перечень событий, статистическое описание оценок группы и аргументы обеих сторон. Эксперты должны принять во внимание аргументы и их критику и составить новый прогноз. При необходимости организатор может потребовать от них новые аргументы. Получив прогнозы экспертов, снова рассчитывают медианы и квартили дат для каждого события. Поскольку этот тур опроса является последним, возможно, нет нужды анализировать аргументы и, следовательно, просить их представить. Если же группа не может прийти к согласованному (единому) мнению и организатор экспертизы заинтересуется аргументами обеих сторон, он собирает их и анализирует. Сам прогноз состоит из перечня событий с соответствующими медианами и квартилями дат.
Практика показывает, что необязательно проводить все четыре тура опроса. Если эксперты пришли к соглашению во втором туре, то опрос можно прекратить. Это особенно справедливо в отношении тех событий, которые по общему мнению никогда не произойдут.
Анализ и обработка экспертных оценок. При проведении анализа собранных экспертных данных в соответствии с целями исследования и принятыми моделями необходимо определить согласованность действий экспертов и достоверность экспертных оценок.
При рассмотрении некоторых маркетинговых ситуаций оказывается, что факторы, определяющие конечные результаты, не поддаются непосредственному измерению. Расположение этих факторов в порядке возрастания или убывания какого-либо присущего им свойства называется ранжированием. Ранжирование позволяет выбрать из исследуемой совокупности факторов наиболее существенный. Ранжирование используется в следующих ситуациях.
1. Когда необходимо упорядочить какие-либо маркетинговые
явления (объекты) во времени или пространстве. Это ситуация,
когда интересуются не сравнением степени выраженности какого-
либо их качества, а лишь взаимным пространственным или вре
менным расположением этих явлений (объектов).
2. Когда нужно упорядочить объекты в соответствии с каким-
либо качеством, но при этом не требуется производить его точ
ное измерение.
3. Когда какое-либо качество в принципе измеримо, однако в настоящий момент не может быть измерено по причинам практического или теоретического характера.
Рассмотрим существо процедуры ранжирования подробнее. При ранжировании эксперт должен расположить объекты (альтернативы) в порядке, который представляется ему наиболее рациональным, и приписать каждому из них числа натурального ряда — ранги. При этом ранг 1 получает наиболее предпочтительная альтернатива, а ранг N — наименее предпочтительная.
Следовательно, порядковая шкала, получаемая в результате ранжирования, должна удовлетворять условию равенства числа рангов N числу ранжируемых объектов и.
Бывает так, что эксперт не в состоянии указать порядок следования для двух или нескольких объектов либо он присваивает разным объектам один и тот же ранг, и в результате число рангов доказывается не равным числу ранжируемых объектов п. В таких случаях объектам приписывают так называемые стандартизированные ранги. С этой целью общее число стандартизированных рангов полагают равным п, а объектам, имеющим одинаковые ранги, присваивают стандартизированный ранг, значение которого представляет среднее суммы мест, поделенных между собой объектами с одинаковыми рангами.
Пусть, например, шести объектам (альтернативам, факторам) экспертами присвоены следующие ранги (табл. 6.7):
Таблица 6 7
Дата добавления: 2015-09-10; просмотров: 85 | Поможем написать вашу работу | Нарушение авторских прав |