Главная страница | Контакты | Случайная страница Автомобили Астрономия Биология География Дом и сад Другие языки Другое Информатика История Культура Литература Логика Математика Медицина Металлургия Механика Образование Охрана труда Педагогика Политика Право Психология Религия Риторика Социология Спорт Строительство Технология Туризм Физика Философия Финансы Химия Черчение Экология Экономика Электроника

II. ЭКСПЕРИМЕНТАЛЬНОЕ ОБОСНОВАНИЕ ПСИХОДИАГНОСТИЧЕСКОЙ МЕТОДИКИ.

Этапы	Название этапов	Последовательность и содержание процедур в каждом этапе.	Примечания
1.	2.	3.	4.
I.	Подбор стимульного (тестового) материала.	В ходе подбора (разработки) стимульного материала выполняются процедуры 1. Выбора и определения трудности заданий трудность задания - это статистический уровень его решаемости в выборке стандартизации. Показатель трудности задания - выборки решивших и не решивших задание. а) Вычисляется индекс трудности Ит по формуле: где: Ut - индекс трудности в процентах. Nt - количество испытуемых правильно решивших задание N - общее число испытуемых б) В случаях, если выборка и количество заданий в ПДМ велико, индекс трудности определяется с помощью “контрастных” групп. - В каждую из групп “лучших” и “худших” включается по 27% лиц, имеющих соответствующие результаты по тесту в целом. - Индекс трудности здесь вычисляется как среднееарифметическое индексов трудности для групп максимальным и минимальным результатом.   Nп -число правильно решивших задание. Nн - число неправильно решивших задание. Nmax. - число имеющих лучшие результаты по тесту. Nmin. - число имеющих худшие результаты по тесту. m - число вариантов ответов. Те задания, которые правильно решили более 84% испытуемых, и те, которые не решили 84%, исключаются из теста. в) Могут использоваться другие процедуры отбора заданий теста по характеристике “трудность”: - разделение на группы “лучших” и “худших” по показателю эффективности (успешности) в реальной деятельности; - экспертное оценивание с использованием простых расчетов (коэффициент вариаций). - экспертам предлагается шкала, по которой они оценивают оптимальность трудности задания в баллах: - проводятся расчеты: среднее арифметическое, стандартное отклонение. - рассчитывается коэффициент вариации V как соотношение величины стандартного отклонения и среднего арифметического. - задание не включается в тест, если величина коэффициента вариации (т.е. колебание вокруг средней в обе стороны) превышает величину более 0,3. г) Отображенные задания упорядочиваются по правилу нарастания трудности. Если предположить, что частоты распределения оценок испытуемых, выполнивших задание, подчиняются нормальному закону, то в пределах (М±s) величины одного стандартного отклонения от среднего значения находится около 68 % испытуемых, а за их пределами - по 16 %.
II.	Проверка заданий на дифференцирующую способность.	Для проверки и отбора заданий теста, которые дифференцируют испытуемых данной выборки на категории относительно максимального и минимального результатов по тесту необходимы следующие процедуры: 1. Ответы испытуемого по каждому заданию представляются дихотомической шкале соответственно “правильно” - 1 балл, “неправильно” - о баллов. Общая сумма баллов по всем заданиям при этом будет являться “сырой” оценкой. 2.Показатель диффиринцирующей способности заданий определяется как мера соответствия успешности выполнения одного задания тесту в целом. При этом данный показатель рассчитывается как коэффициент точечно-бисериальной корреляции по формуле:   Rpb- индекс дискриминации (диффиренциации). Xn - среднее арифметическое оценок по тесту у тех, кто правильно решил задание; X - среднее арифметическое всех индивидуальных оценок по тесту; sx- стандартное отклонение индивидуальных оценок по тесту; Nn- количество правильно решивших задание. N - общее число выполнявших тест. 3. Полученное значение может быть в интервале от 1 до +1. Высокое положительное значение коэффициента может свидетельствовать об удовлетворительной дифференцирующей способности задания теста, а отрицательное интерпретируется наоборот. При этом коэффициенты должны быть статистически значимы на приемлемом уровне. 4. Если имеются пропуски в ответах, применяется следующая формула: Xn - среднее значение оценок по тесту у тех, кто правильно выполнили задание; Xo- среднее значение индивидуальных оценок испытуемых, выполнявших задание; sxo- стандартное отклонение индивидуальных оценок испытуемых, выполнявших задание; No- общее к-во испытуемых, выполнявших задание. Nn - количество правильно решивших задание 5. Если имеется соответствующий всем нормативным требованиям и нормально распределенный (близко к нормальному) критерий (критерии) валидизации, то индекс (коэффициент) расчитывается с применением метода контрасных групп (“лучшие” и “худшие”). Коэффициент дискриминации расчитывается как разность между долей лиц, правильно решивших задачу из “лучшей” и “худшей” групп. Kd- коэффициент (индекс) дискриминации; Nn max- к-во испытуемых, правильно решивших задание из группы “лучших”. Nn min- к-во испытуемых, правильно решивших задание из группы “худших”; Nmax- количество испытуемых “лучшей” группы. Nmin- количество испытуемых “худшей” группы. 1. При формировании контрастных групп руководствуются правилом: нижняя граница численности групп - 10 % от общего количества испытуемых в выборке, верхняя - 33 %. Обычно выделяется по 27% - 33 %. 2. С учетом этой квоты формула коэффициента дискриминации преобретает вид:

III.	Проверка заданий на гомогенность (внутреннюю согласованность)	С целью проверки и установления внутренней согласованности теста расчитывается коэффициент корреляции между результатом по тесту в целом и каждого его отдельного задания. Процедура вычисления сводится к следующему: 1. Если зафиксировать (а) результаты каждого испытуемого в выполнении задания теста в дихотомической шкале: “решил” - 1, “не решил” - 0, а также (б) их оценки в “сырых” баллахв целом по тесту, то можно вычислить между ними точечно-бисериальный коэффициент корреляции, характеризующий степень однородности (гомогенности) состава заданий с точки зрения измеряемого качества. X1 -среднее по х испытуемых со значением 1 по У; X0 - среднее по х испытуемых со значением 0 по У; sx- стандартное отклонение всех значений по х; N1- число испытуемых с 1 по У; N0- число испытуемых с 0 по У; N = N1 + N0. 2. После вычислений делаются выводы: а) слабая внутрення согласованность - (0,1 - 0,45) б) средняя -”- -”- (0,46 - 0,60) в) хорошая -”- -”- (0,60 - 0,75) г) очень хорошая -”- (0,75 - и выше) Этот же коэффициент можно вычислить, используя четырехпольный коэффициент корреляции: Fy- число правильно решивших задание относительно общего числа обследованных в “лучшей” группе; Fd- число правильно решивших задание в “худшей” группе; P- общая пропорция правильно выполнивших задание; Q- число неправильно решивших задание. Нормативные значения этого коэффициента в зависимости от количества обследованных (№) составляют:   В случае, если коэффициент приближается к нулю, проверяемое задание теста отбраковывается или подлежит переделке.
IY.	Проверка и обеспечение надежности теста.	Одна из наиболее важных характеристик теста проверяется несколькими способами: 1. Способ повторного обследования (тест-ретеет) одних и тех же испытуемых одним и тем же тестом (тестами). В ходе этой процедуры проверяется гипотеза о мере соответствия результатов первого и второго обследования или об устойчивости рангового порядка в выборке. Выражением такой меры является коэффициент корреляции между результатами этих двух актов обследования. Иногда он может называться коэффициентом нажежности (Кн). Если результаты представлены в шкале порядков, то используется коэффициент корреляции Спирмена. Di- разности между рангами каждой переменной из пар значений Х и У; N- число сопоставляемых пар. Если результаты представлены в интервальной шкале, используется коэффициент корреляции Пирсона. 1. Между первым и вторым обследованием временной интервал выбирается в интервале до нескольких месяцев. 2. Способ повторного тестирования целесообразно применять для ограниченного числа тестов, в основном тех, где заблаговременная осведомленность испытуемого не оказывает заметного влияния на результаты повторного обследования. Среди них: - все те, которые имеют большое количество заданий; - сенсамоторные тесты. - тесты скорости. 2. Способ с использование параллельных форм тестов. Сущностью этой процедуры является поиск соответствия результатов обследования по разработанному тесту результатам по уже известному и апробированному тесту, измеряющему ту же психологическую характеристику. Выражением меры такого соответствия является коэффициент Пирсона результатов этих двух обследований. N- количество испытуемых; Xi- значение i-го показателя по 1-му тесту; Yi- значение i-го показателя по 2-му тесту. Иногда используется способ определения надежности путем обследования параллельными формами равноразделенных групп одной выборки. Последовательность работы здесь следующая: - Все обследуемые разделяются на 2 примерно равные группы. - Каждой из групп предлагается одна из форм теста. - Через определенный срок (до недели) проводится повторное обследование, но формы тестов заменяются. - По результатам первого и второго обследований производятся расчеты коэффициента корреляции Пирсона или Спирмена в зависимости от применяемых изме рительных шкал.   3. Способ определения надежности путем анализа устоичивости результатов по каждому отдельному заданию, или заданиям, объединенным в смысловые группы (блоки). Существует несколько методических приемов в рамках этого способа: а) Прием “расщепления” основан на предположении о том, что при нормальном (близком к нему) распределении результатов по всему тесту выполнение любого случайно взятого набора из частей теста дает аналогичное распределение. При использовании этого приема необходимо соблюсти правила: - для оценки надежности подбираются как правило две эквивалентные по своим нормативным характеристикам группы заданий по принципу: четные и нечетные, близкие по значениям индексов трудности и диффиринцирующей способности; - для обследуемых по каждой группе заданий отдельно вычисляются необходимые статистики: среднее арифметическое, дисперсия, стандартное отклонение; - расчет коэффициентов корреляции сравниваемых рядов характеризует надежность только половин теста; - если стандартные отклонения обеих половин теста равны (sA=sB), то для вычисления коэффициента надежности всего теста используется формула Спирмена - Брауна: Rn- коэффициент надежности полного теста. Rab- коэффициент корреляции между половинами теста. Для коэффициента надежности должен быть обязательно определен доверительный интервал. б) Прием “надежность как гомогенность” теста используется, если число частей (групп, блоков) теста равно числу его заданий. В этом случае речь идет об анализе внутренней согласованности заданий теста. Чаще всего в практике для этой цели используется формула Кьюзера - Ричардсона. гдег где: P - индекс трудности; Q = 1-P Rpb - коэфициент (индекс) дискрииминации Эта формула используется, если задания оцениваются в дихотомической шкале наименований (правильно -1, неправильно - 0 баллов). Если же используется шкала с другой размерностью, применяется формула:     где: Ssxi2- сумма дисперсий результатов отдельных заданий N - количество испытуемых. После всех вычислений, полученные коэффициенты сравниваются с нормальными значениями (приведены в таблице)   ______________________________________ Оценка Значение коэфф. надежности --------------------------------------------------------- совсем неудов- летворительно 0,00 - 0,599 неудовлетворит. 0,600 - 0,699 удовлетворительно 0,700 - 0,799 хорошо 0,800 - 0,899 очень хорошо 0,900 - 0,949 отлично 0,950 - и выше _______________________________________	1. Способ с использованием параллельных форм предпочтительнее ретестового, так как возможность заблаговременной тренировки исключается, и, кроме того, резко уменьшается временной интервал. 2. Величина коэффициента корреляции отражает не только надежность теста, но их взаимозаменяемост 3. При использовании этого способа необходимо учитывать следующие аспекты: а) Наборы заданий обеих тестов должны отвечать одним и тем же требованиям. б) Задания должны измерять одни и те же показатели; в) “Длина” тестов должна быть примерно одинакова. 4. Способ использования параллельных форм целесообразно использовать для интеллектуальных тестов.
Y.	Валидизация психодиагн. методики.	Валидизация ПДМ - проверка выдвинутых гипотез о том, как (а) коррелирует разрабатываемый тест с другими тестами, констредиты которых аналогичны, или (б) связаны с конструктами разрабатываемого. Важно обеспечить вначале конструктную (концептуальную) валидность (ВК). Валидность конструктная отражает степень психологического феномена (конструкта) в результатах теста. 1. Классификация типов и видов валидности носит условный характер, т.к. в зависимости от формы и содержания критериев валидизации одни и те же данные могут трактоваться по иному. 2. Валидность - это динамическая характеристика теста. Она может меняться в зависимости от: условий применения; изменения социальных и возрастных норм. Способы характеристики конструктной валидности разрабатываемого теста: а) сопоставление с тестом, конструктное содержание которого известно. Корреляция между ними означает, что разрабатываемый тест исследует ту же сферу поведения или психологическую характеристику личности, что и уже известный тест. б) теаретическое исследование области измеряемых тестом свойств, определение правильности или соответствия конструктов разрабатываемого теста уже общепринятым теориям, научно установленным данным и позициям. В последующем, в зависимости от цели использования ПДМ устанавливаются типы валидности. Типизация валидности обусловливается количеством и своеобразием информации о тесте. Первый тип: Валидность конкурентная - способность теста дифференцировать испытуемых по изучаемой характеристике (признаку) на группы, ранги и т.п. Второй тип: Валидность очевидная - совокупность представлений о тесте, сфере его использования, эффективности и практической ценности у лиц, не располагающих данными о характере использования и целях теста. (испытуемые, эксперты, заказчики и т.д.) Третий тип: Валидность критериальная отражает соответствие диагноза и прогноза определенной совокупности внешних критериев. различаются 2 вида критериальной валидности: а) Прогностическая. Это информация о тесте, характеризующая точность прогноза психолога через определенное время после обследования. Выражением прогностической валидности является коэффициент корреляции между результатами обследования и полученными значениями внешнего критерия через определенное время. б) Текущая: Это информация о тесте, характеризующая соответствие результатов актуального обследования по валидизируемому тесту независимому (внешнему) критерию. Примечание: 1) В практике используются и другие определения видов и типов валидности. Вместе с тем по процедуре и содержанию эмнирическая валидность есть не что иное как критериальная. Все другие виды валидности есть смысл отнести к конструктной. 2) Совершенствование программ и методов обучения и профессиональной подготовки; изменение содержания деятельности испытуемых и в соответствии с этим требований к ним; появление научно-психологических теорий и фактов; по новому рассматривающих конструкты теста. 3) Положения пп. 1.2. требуют вследствие этого постоянного контроля валидности тестов.

Основное содержание адаптации психологических методик.

3.1. Подбор стимульного (тестового) материала.

При подборе (разработке) стимульного материала выполняется процедура определения трудности каждого задания теста, которая понимается как статистический уровень его решаемости испытуемыми в выборке стандартизации. В качестве показателя трудности задания обычно определяется доля лиц выборки, решавших и нерешивших задание, а его математическим выражением является индекс трудности.

Вычисляется Ит по формуле:

где

Ит - индекс трудности в процентах.

№n - количество испытуемых, правильно решивших задание.

№ - общее число испытуемых.

В случаях, если выборка и количество заданий в тесте велико, индекс трудности определяется с использованием метода “контрастных” групп. Последовательность действий при этом следующая. В каждую их групп “лучших” и “худших” включается по 27 % лиц., имеющих соответствующие результаты в целом. Затем вычисляется индекс трудности как среднее арифметическое индексов трудности для групп с максимальным и минимальным результатом.

где:

Nп- число правильно решившив задание.

Nn- число неправильно решивших задание.

Nmax- число имеющих лучшие результаты по тесту.

Nmin- число имеющих худшие результаты по тесту.

M- число вариантов ответов.

Те задания, которые были правильно решены более чем на 84 % испытуемых, и те, которые не были решены 84% испытуемых, исключаются из теста, т.к. являются либо слишком легкими, либо слишком трудными для выборки стандартизации.

Могут использоваться и другие процедуры отбора заданий теста по характеристике “трудность”. Среди них наиболее часто используются следующая последовательность действий психолога:

1) разделение группы “лучших” и “худших” по показателю эффективности (успешности) в реальной деятельности.

2) экспертная оценка оптимальности трудности задания в баллах по предложенной шкале.

3) вычисление среднего арифметического, дисперсии, стандартного отклонения полученных данных.

4) вычисление коэффициента вариации как соотношения величин стандартного отклонения и среднего арифметического с использованием формулы:

5) исключение задания, если величина коэффициента вариации (т.е. колебание вокруг средней оценки в обе стороны) не превышает величину 0,30.

6) упорядочение отобранных заданий по правилу нарастания трудности.

Если предположить, что частоты распределения оценок испытуемых, выполнившив задание, подчиняются нормальному закону, то в пределах (М + б) величины одного стандартного отклонения от среднего значения находится около 68 % испытуемых, а за их пределами - по 16 %.

Рис.

Пороговые частоты случаев правильного и ошибочного решения при отборе задач по индексу трудности.

3.2. Проверка заданий на дифференцирующую способность.

Для проверки и отбора заданий теста, которые дифференцируют испытуемых данной выборки на категории относительно максимального и минимального результатов по тесту, необходимы следующие процедуры:

1. Представление ответов испытуемых по каждому заданию в дихотомической шкале соответственно “правильно” - 1 балл, “неправильно” - 0 баллов. Общая сумма баллов по всем заданиям при этом будет являться “сырой” оценкой.

2. Определение показателей дифференцирующей способности заданий как меры соответствия успешности выполнения одного задания результативности выполнения теста в целом. При этом данный показатель рассчитывается как коэффициент точечно-бисериальной корреляции по формуле:

где

Rpb - индекс дискриминации (дифференциации).

Xn- среднее арифметическое оценок по тесту у тех, кто правильно решил задание.

X- среднее арифметическое всех индивидуальных оценок по тесту.

s_x- стандартное отклонение индивидуальных оценок по тесту.

Nn- количество правильно решивших задание.

N- общее число выполнивших тест.

3. Интерпретация полученных результатов по каждому заданию.

Полученное значение может быть в интервале от -1 до 1. Высокое положительное значение коэффициента может свидетельствовать об удовлетворительной дифференцирующей способности задания теста, а отрицательное интерпретируется наоборот. При этом коэффициенты должны быть статистически значимы на приемлемом уровне.

4. Рассмотрение заданий, по которым имеются пропуски вответах.

Если имеются пропуски в ответах, применяется следующая формула:

где:

Xn- среднее значение оценок по тесту у тех, кто правильно выполнил задание.

Xo- среднее значение индивидуальных оценок испытуемых, выполнявших задание.

s_x0- стандартное отклонение индивидуальных оценок испытуемых, выполнявших задание.

N₀- общее количество испытуемых, выполнявших задание.

5. Верификация полученных данных.

Если имеется соответствующий всем нормативным требованиям и нормально распределенный (близко к нормальному) критерий (критерии) валидизации, то индекс (коэффициент) рассчитывается с применением метода контрастных групп (“лучшие” и “худшие”). Коэффициент дискриминации рассчитывается при этом как разность между долей лиц, правильно решивших задачу из “лучшей” и “худшей” групп.

где: - коэффициент (индекс) дискриминации.

Nn max- количество испытуемых, правильно решивших задание из группы “лучших”.

Nn min- количество испытуемых, правильно решивших задание из группы “худших”.

Nmax- количество испытуемых “лучшей” группы.

Nmin- количество испытуемых “худшей” группы.

При формировании контрастных групп руководствуются правилом: нижняя граница численности групп - 10 % от общего количества испытуемых в выборке, верхняя - 33 %. Обычно выделяется по 27 - 33 %. С учетом этой квоты формула коэффициента дискриминации приобретает следующий вид:

После получения коэффициентов дискриминации другим способом производится анализ их различий с полученными первым способом. Предпочтение при этом отдается тем, различия между которыми статистически незначимы.

3.3 Проверка заданий на гомогенность (внутреннюю согласованность).

С целью проверки и установления внутренней согласованности теста рассчитывается коэффициент корреляции между результатом по тесту в целом и каждого его отдельного задания. Процедура вычисления сводится к следующему: