Валидность - соответствие конкретного исследования принятым стандартам (безупреч­ному эксперименту).

Валидность внешняя - соответствие конкретного исследования природной реальности и/или другим подобным исследованиям. Определяет возможность переноса и / или обоб­щения результатов на другие объекты и условия исследования. Зависит от репрезента­тивности выборки и соответствия контролируемых в исследовании дополнительных пе­ременных, их вариативности в других условиях. Частной формой внешней валидности является экологическая валидность, определяющая возможность распространить выво­ды конкретного исследования на реальные условия, а не на иные лабораторные условия.

Валидность внутренняя - соответствие конкретного исследования идеальному; оцени­вает изменение зависимой переменной, определяется влиянием независимой перемен­ной, а не другими причинами. Внутренняя валидность зависит от систематического изме­нения влияния независимой и других переменных от неэквивалентности и изменения сравниваемых групп в ходе эксперимента.

Валидность конструктная - характеризует точность реализации теоретической гипоте­зы в процедуре эксперимента. Является одним из проявлений внутренней валидности. Определяет область явлений, исследуемых в эксперименте. В психологической диагнос­тике конструктная валидность характеризует степень измеряемого свойства в результа­тах тестирования.

Валидность критериальная - отражает соответствие диагноза и прогноза, полученного на основе данных тестирования, деятельностным и жизненным показателям; включает в себя текущую и прогностическую валидность.

Валидность операциональная - соответствие операций экспериментатора теоретиче­скому описанию переменных, контролируемых в исследовании. Варьируемые экспери­ментатором условия должны соответствовать независимой переменной. Операциональ­ная валидность является одним из проявлений внутренней валидности.

35. Привести классификацию экспериментальных планов: доэкспериментальные планы, планы истинных экспериментов и квазиэкспериментальные планы.

Доэксперементальные планы

Квазиэкспериментального планы строятся, исходя из такого определения понятия квазиэксперимента: квазиэкспериментом является исследование, направленное на установление причинно-послед- ного связи между двумя переменными, в котором, однако, отсутствует процедура предварительного выравнивания групп, то есть параллельный контроль с участием контрольной группы заменяется сравнением результатов тестирования группы до и после измерений. Существует несколько видов квазиэкспериментальных планов, например: план для двух неэквивалентных групп с тестированием до и после испытания; план по предыдущим и итоговым тестированием двух рандомизированных групп; планы дискретных временных серий для одной группы или для двух неэквивалентных групп. Квазиэксперимент очень распространены в современной психологии и является не хуже истинные. Для некоторых задач психологического исследования они необходимы и, несмотря на отсутствие процедуры предварительного выравнивания групп, они специальным средством решения проблем экспериментирования, если независимая переменная не является объектом манипулирования исследователя, а избирается им путем отбора неквивалентних групп. Скажем, если задачей эксперимента является проверка, как влияет уровень личностной тревожности учащихся на успешность сдачи ответственного итогового экзамена, специально формируются эквивалентны группы по предварительно измеряемым высоким и низким уровнями тревожности и изучается ее влияние на зависимую переменную - успешность выполнения тестов. Результаты выполнения тестов относятся в зависимость от этой личностной характеристики испытуемых, которая выбрана для создания неэквивалентных групп. Такой квазиэксперимент ничем не уступает реальному. Рассмотрим несколько примеров квазиэкспериментального плана. Например, в эксперименте с неэквивалентного контрольной группой сопоставляются результаты неэквивалентных групп до и после испытания. Это дает возможность осуществить контроль отдельных угроз валидности, причем в экспериментах с такими планами сравниваются изменения показателей - передекспериментального и постекспериментального тестирований в неэквивалентных группах. Эта разница между показателями потом оценивается по критерию t-Стьюдента для установления уровня значимости разногласий. Приведем пример эксперимента с работы Д. Мартина "Психологические эксперименты" . Цель эксперимента заключалась в том, чтобы исследовать, повышается производительность труда работников машиностроительного завода при оплате "от выработки». Независимая переменная - способ оплаты, зависимая переменная - производительность труда. В эксперименте участвовали две группы работников завода. Предварительно измерялась производительность их труда, после чего для одной из групп (группа А), участники которой добровольно согласились на эксперимент, вводилась оплата "от выработки». Измерение после эксперимента показали, что производительность труда участников группы А повышалась. В этом квазиэксперимент есть угрозы валидности, а именно: взаимодействие тестирования с результатами экспериментального воздействия, то есть предыдущий уровень производительности труда, может усиливать экспериментальный влияние. 50. Схемы контроля переменных в эмпирическом исследовании.

36. Объяснить факторный эксперимент. Переменные, гипотезы и схемы в факторном эксперименте.

Доэкспериментальные планы, точнее - исследования, которые проводились и проводятся до сих пор по определенным схемам, не учитывают требований, предъявляемых к плану классического экспериментального исследования. Причина - не­знание этих требований или невозможность их учета при проведении реального ис­следования в конкретных условиях. Исследования по схеме доэкспериментальных планов проводились еще до возникновения теории планирования эксперимента. Доэкспериментальные планы служат, скорее, в качестве иллюстрации. В прак­тике научных исследований по возможности их следует избегать. Квазиэкспериментальные планы являются попыткой учета реалий жизни при проведении эмпирических исследований. Квазиэкспери­ментальные планы создаются специально с отступлением от схемы «истинного экс­перимента». Исследователь осознает те источники артефактов - внешние перемен­ные, которые он не может контролировать. Для частичной компенсации и контроля эффектов, возникающих при нарушении планов «истинных экспериментов», иссле­дователи используют искусственные схемы, которые и называются квазиэкспери­ментальными планами. Квазиэксперимент является своеобразным компромиссом между реальностью и «строгостью» методологических предписаний. Однако квазиэксперимент использу­ется не только для решения прикладных проблем, но и для проведения научных ис­следований. Квазиэкспериментальный план используется тогда, когда применение лучшего плана невозможно.

Понятие валидности эксперимента включает в себя по меньшей мере три основных понятия: операциональной валидности, внешней валидности и внутренней валидности. Рассмотрим эти понятия и реальности, обозначаемые ими, более подробно.

Операциональная валидность

Понятие операциональной валидности тесно связано с определенной проблемой, которая объективно существует не только в экспериментальном, но и в любом другом эмпирическом исследовании. В частности, в экспериментальном исследовании эта проблема состоит в том, что исследуемая реальность представлена в нем двояким образом. Во-первых, в гипотезе исследования она представлена в форме ее словесного описания, а во-вторых, в методике исследования она представлена в форме конкретных явлений, которым свойственны определенные характеристики. Очевидно, что с точки зрения идеальных требований к проведению экспериментального исследования оно должно быть организовано так, чтобы между этими двумя формами представления исследуемой реальности было полное соответствие . Если же это соответствие не достигнуто, то экспериментальное исследование является неадекватным в том смысле, что его результаты нельзя использовать ни для подтверждения, ни для опровержения гипотезы.

В связи с указанной проблемой, понятие операциональная валидность можно определить как правомерность вывода о полноте соответствия исследуемой реальности, представленной в гипотезе исследования в словесной форме, той реальности, которая представлена в методике исследования в форме конкретных явлений.

В зависимости от степени полноты этого соответствия экспериментальное исследование может обладать операциональной валидностью в разной степени, т.е. быть более или менее операционально валидным.

На практике для того, чтобы оценить операциональную валидность экспериментального исследования, необходимо решить вопрос о правомерности соответствия между содержаниями основных терминов, которые используются для описания исследуемой реальности в гипотезе исследования, и тем, как эти содержания представлены в методике исследования.

Для иллюстрации проблемы операциональной валидности можно воспользоваться следующим примером. Допустим, в гипотезе исследования фигурирует термин «объем внимания», означающий количество элементов, которые человек может воспринять одновременно ясно и отчетливо, а в методике исследования для измерения объема внимания используется тахистоскоп, позволяющий зрительно предъявлять одновременно на короткое время набор элементов, и в качестве конкретного явления, характеризующего объем внимания, выступает количество элементов, которые испытуемые могут воспроизвести. В этом случае перед экспериментатором, проводящим это исследование, неизбежнодолжен возникнуть следующий вопрос, непосредственно имеющий отношение к проблеме операциональной валидности, а именно: соответствует ли количество воспроизводимых испытуемыми элементов количеству элементов, воспринимаемых ими ясно и отчетливо. Как известно из истории экспериментальной психологии, В. Вундт допускал существование такого соответствия. Однако в экспериментах Дж. Сперлинга с использованием методики частичного отчета было показано, что количество воспроизводимых испытуемыми элементов может быть меньше количества элементов, воспринимаемых ими ясно и отчетливо. Из приведенного примера следует, что автору этого гипотетического исследования необходимо более тщательно обосновать, почему он считает возможным использовать для измерения объема внимания показатель продуктивности воспроизведения, иначе его исследование может оказаться операционально невалидным.

В любом случае, конструктная валидность обусловливает теоретическую точность экспериментального исследования, т.е. насколько соотносится причинно-следственное отношение, сформулированное в теории, и причинно-следственная связь независимой и зависимой переменных, обнаруженная в результате исследования: « … конструктная валидность имеет отношение к теоретической точности: правильно ли мы объясняем причинно-следственные связи, которые были обнаружены в исследовании? … ».

Другими словами, конструктная валидность выражает точность экспериментальной реализации гипотезы в исследовательской процедуре: « … валидность конструктная – характеризует точность реализации теоретической гипотезы в процедуре эксперимента. Является одним из проявлений внутренней валидности. Определяет область явлений, исследуемых в эксперименте … »

Конструктная валидность контролируется содержательным планированием. Она определяет теоретическую точность конструирования идеального эксперимента. Уверенность в конструктной валидности приходит по мере получения всё большего количества подтверждающих результатов: « … конструктная валидность – особенно подходит для экспериментальных исследований. Она имеет отношение сразу к двум вопросам: является ли оцениваемый конструкт валидным, а инструмент, с помощью которого производится оценка, - наилучшим. Конструктная валиднось тесно связана с сущностью теории, построением гипотеза на основании теории и оценкой теорий, выведенных из результатов исследования. Конструктная валидность как таковая никогда не подтверждается и не разрушается одним исследованием, а также её невозможно доказать по тем же причинам, по каким невозможно доказать теорию. Уверенность в конструктной валидности растёт постепенно по мере получения исследователями подтверждающих результатов … »

Залогом высокой конструктной валидности нашего экспериментального исследования является исторический (креативный) метод обоснования конструекции идеального эксперимента, а практическим подтверждением высокой конструктной валидности исследования является реальный рост учебной мотивации. Как известно, в условиях современного образовательного процесса динамика учебной мотивации имеет противоположный знак.

Операциональная валидность

Ещё один вид внутренней валидности – операциональная валидность. Операциональная валидность обусловливает адекватность методики и плана экспериментального исследования проверяемой гипотезе. Операциональная валидность обусловливает соответствие реального эксперимента теоретической гипотезе, поскольку именно в гипотезе фиксируется характер связи независимой и зависимой переменных: « … валидность операциональная – соответствие операций экспериментатора теоретическому описанию переменных, контролируемых в исследовании. Варьируемые экспериментатором условия должны соответствовать независимой переменной. Операциональная валидность является одним из проявлений внутренней валидности … » .

Другими словами, операциональная ваалидность отвечает за то, что установленная в реальном исследовании связь представляет собой именно ту связь, которая сформулирована в гипотезе: « … решение вопроса о том, что установлена именно представленная в гипотезе связь, а не какая-то другая, зависит от оценки внутренней и операциональной валидности эксперимента … »

Способом контроля операциональной валидности, так же как и конструктной, является содержательное планирование. В данном случае с помощью содержательного планирования была операционализирована «независимая переменная» («схема» организации онтологического общения), «зависимая переменная» (психологическая сложность предметных задач), оценено влияние дополнительной переменной («разный психический возраст учащихся») и найдено решение за счёт дифференциации требований к учащимся различный психических возрастов: « … содержательное планирование включает решение (разрешение) всех вопросов конструктной и операциональной валидности, заключающихся в конкретизации и операционализации НЗП (независимой переменной), ЗП (зависимой переменной) и выбора уровней ДП (дополнительной переменной). Оно предполагает развёртывание содержательных доводов как с точки зрения обоснования экспериментальных гипотез, так и с точки зрения соотнесения используемых психологических конструктов и методических процедур измерения переменных … ».

Внешняя валидность

Внешняя валидность – является мерой соответствия экспериментальной процедуры исследуемому реальному объекту.

На внешнюю валидность влияют дополнительные переменные. Внешняя валидность контролируется путём контроля дополнительных переменных: « … соответствие реального исследования изучаемой объективной реальности назовём внешней валидностью … ».

Внешняя валидность зависит от репрезентативности выборки и сопоставимости контролируемых дополнительных переменных дополнительным переменным в других условиях: « … валидность внешняя – соответствие конкретного исследования природной реальности и/или другим подобным исследованиям. Определяет возможность переноса и/или обобщения результатов на другие объекты и условия исследования. Зависит от репрезентативности выборки и соответствия контролируемых в исследовании дополнительных переменных, их вариативности в других условиях. Частной формой внешней валидности является экологическая валидность, определяющая возможность распространить выводы конкретного исследования на реальные условия, а не на иные лабораторные условия … »

От внешней валидности зависит перенос результатов из лабораторных условий в реальность и обобщение результатов (выводов): « … внешняя валидность … - возможность переноса результатов эксперимента на определённую реально существующую совокупность, ситуацию или условия, отличающиеся от условий эксперимента … »

Поскольку наше исследование во многом организовывалось как полевое (естественное), особые проблемы с внешней валидностью не стояли. В результате экспериментальное обучение было проведено в условиях большого количества дополнительных переменных (наполняемость классов; возраст учащихся; тип образовательных учреждений; степень урбанизированности культурной и социальной среды; культура; этнопсихологические особенности; степень периферийности учебного заведения; стиль преподавания; социально-психологический климат в учебном заведении; социальное происхождение учащихся и пр. и пр.).

Полученные в результате данные свидетельствуют о их высокой внешней (экологической) валидности.

Критериальная валидность

В проведённом исследовании особое значение имел ещё один вид валидности – критериальная валидность. Необходимость её рассмотрения связана с тем, что в условиях экспериментального обучения получаемые результаты всегда соотносятся с критериями, на основании которых производится оценка эффективности и успешности экспериментального обучения: « … валидность названа «критериальной», потому что результаты рассматриваемых измерений соотносятся с некоторым значением или критерием … ».

Важность критериальной валидности заключается в том, что позволяет оценить эффективность экспериментального обучения с возможной эффективностью реальной жизнедеятельности: « … валидность критериальная – отражает соответствие диагноза и прогноза, полученного на основе данных тестирования, деятельностным и жизненным показателям, включает в себя текущую и прогностическую валидность … »

С этой точки зрения критериальная валидность представляет большую важность как мера прогностичности идеального исследования: « … отношение идеального исследования к реальности можно охарактеризовать как теоретическую, или прогностическую, валидность … ».

Пока отдельно были представлены некоторые типы психологических данных - как фиксируемых показателей и в контексте проблемы статистических решений. Теперь следует сделать следующий шаг - раскрыть проблему выбора психологических методик как средств операционализации переменных. По отношению к выборочным значениям ЗП принимаются статистические решения, по значения переменных выступают результатами использования определенных психологических методик.

Чтобы получить данные, психолог фиксирует как психофизиологические показатели, если гипотеза предполагает рассмотрение их связи с изучаемым процессом, так и самоотчеты испытуемых. Он может наблюдать за поведением, а может специально выделять лишь некоторые, методически специально выделенные аспекты активности испытуемого - время реакции, число предложенных решений, особенности ответа в неопределенной ситуации. Он применяет стандартизованные и не стандартизированные методики, с помощью которых фиксируются показатели когнитивной сферы человека (восприятия, внимания, памяти, мышления), а также его эмоционально-личностной сферы (мотивы, характерологические свойства и т.д.).

Из характеристик используемых методик не следует, каким методом проводилось исследование. Внешней характеристикой экспериментального исследования может служить указание на то, что в нем должны присутствовать как минимум две методики: для задания НП и измерения ЗП. И обе они оцениваются в аспектах репрезентативности - конструктов НП и ЗП или соответствия тем реальным условиям, аспекты которых моделируются.

Операциональная наличность - оценка эксперимента с точки зрения степени соответствия эмпирически нагруженным понятиям НП, ЗП и ДП тех методик задания и измерения переменных, которые используются в исследовании.

Наиболее простым путем было бы определение психологической переменной путем связывания ее с методикой получения тех или иных данных. Действительно, если определять различия между понятиями "метод" и "методика", то такой путь покажется логичным. Метод - это наиболее крупная единица анализа типа исследования. Методика - более мелкая единица. Методики могут кочевать из одного исследования в другое и использоваться при разных способах организации исследования.

Психологическая методика - это способы фиксации психологических данных, "техники" построения психологических показателей. С многообразием психологических методик студенты обычно знакомятся в предметном и исследовательском практикумах.

В то же время методика может не выглядеть психологической, но использоваться для задания, скажем, уровней независимой переменной или для измерения зависимой. Например, в оценке разного рода рекламы - как организуемого психологического воздействия - ее эффективность представлена в количестве единиц проданного продукта. Это экономический показатель. Он становится психологической переменной только в одном случае - когда связывается в психологической гипотезе с опосредствующим процессом психологического воздействия. Тогда разные виды рекламы одного и того же товара предстают разными уровнями НП (например, реклама постоянная или нет, в печатных или электронных СМИ и т.д.).

Выделение уровней НП также может осуществляться, казалось бы, безотносительно к арсеналу психологических методик. В приведенном в разделе 5.3.3 примере искусственной среды "Пятое измерение" ее можно трактовать в качестве единого (активного) уровня НП. Тогда контрольным (неактивным) уровнем будут обычные условия обучения и проведения ребенком своего досуга. В многочисленных исследованиях по инженерной психологии сравниваются разные условия выполнения человеком профессиональной деятельности, при том что разница условий задана особенностями используемых приборов, их расположением и т.д. Не продолжая примеров, можно сказать, что психологическими эти уровни экспериментальных факторов становятся именно благодаря тому, что в звене экспериментальной гипотезы они связываются с ожидаемыми изменениями изучаемого базисного процесса.

В самом общем виде под базисным процессом можно понимать центральное звено регуляции изменений, отражаемых в индексах, или показателях, 311. Показатель, фиксируемый методикой как отклик влияния НП, не сводится сам по себе к изучаемому базисному процессу.

В психологическом эксперименте это также входит в этап содержательного планирования исследования - обосновать, что подразумевается под изменениями индекса. Например, за показателем времени реакции можно предполагать совершенно разные процессы (обозначающие, что именно происходит в фиксируемые отрезки времени перед ответом испытуемого).

Если же речь пойдет о более сложных методиках, которые включают существенный пласт толкований психологом того или иного ее индекса, то интерпретационный процесс прямо будет задавать способ конструирования переменной. Например, применительно к проективной методике тематического апперцептивного теста (TAT) Е. Т. Соколовой прослежено изменение способов толкования того, как в рассказах по неопределенным картинкам (фотографиям) можно устанавливать проявление механизмов проекции, психологической защиты и т.д. От конца 30-х к концу 60-х гг. XX в. толкования существенно изменялись в зависимости от включения предположений о проявлении в рассказах испытуемых их рационального "Я" [Соколова, 1980].

Те же виды глубинной мотивации (социогенные потребности в классификации Г. Мюррея) могут диагностироваться с помощью опросника, который был предложен Л. Эдвардсом [Корнилова, 1997]. Проективный тест и вербальный, построенный в опроснике Эдвардса па основе приема вынужденного выбора предпочтений, могут давать разные местоположения испытуемого по отношению к конкретной мотивационной шкале, поскольку подразумевают проявление разных базисных процессов, стоящих за используемыми индексами двух процедурно разных методик.

Таким образом, одни и те же психологические конструкты (мотивация достижения, агрессия, аффилиация и т.д.) операционализируются по-разному. Их различие связано именно с подразумеваемыми механизмами осознанной оценки предпочтения или неосознаваемого проявления в рассказе субъекта той или иной глубинной мотивации (при инструкции "исследуется воображение").

Итак, наиболее простой путь связывания сути психологической переменной с той или иной методикой может вводить в заблуждение относительно того, что репрезентирует фиксируемый показатель. Более адекватным является иной путь - косвенной реконструкции того, что репрезентируется показателем. Два условия должны выполняться.

Первое . Представленные в гипотезе как эмпирически нагруженные понятия - независимой и зависимой переменных - должны быть операционализированы, т.е. должен быть конкретизирован путь их методического представления в исследовании.

Второе . Эта операционализация должна быть такой, чтобы управление экспериментальным фактором или изменения базисного процесса могли быть представлены в виде той или иной шкалы, т.е. измерены.

Совсем не все методики позволяют выделять переменные. Например, методики наблюдения, предполагающие фиксацию данных в единицах естественного языка или в условных обозначениях, еще не выступают способами выделения переменных. Наблюдать изменения - это еще не значит их измерять. Современные исследования, выполняемые методом наблюдения, включают огромный арсенал стандартизованных методик. По для перехода к процедурам измерения должны выполняться дополнительные условия, в результате чего и достигается возможность выделения правил приписывания чисел психологическим объектам.

Именно измерение переменных выступает условием проведения психологического эксперимента, а также реализации ряда других методов - корреляционного, квазиэксперимента, лонгитюда.

Перечисление событий, установление их частоты - еще не измерение, но процедура, позволяющая строить ЗП. Приведем пример того, как происходит конструирование такой ЗП, когда ее индекс является производным, а не отражает фиксацию какого-либо методически заданного показателя.

В примере с искусственным экспериментальным условием "Пятое измерение" М. Коула, который будет представлен в главе 5 (экскурс 5.8), можно выделять множество переменных. В реальных условиях на пляже психологами была создана особая ситуация отдыха для детей, которые при этом - в игровой ситуации - овладевали рядом средств (в частности, компьютером) своей деятельности. 311 было несколько. Одна из них - упоминания в дневниковых записях студентов, которые работали с детьми, тех или иных "артефактов" в их инструментальном значении или в виде упоминания как ориентиров для опосредствования действий ребенка. Число упоминаний одних и тех же объектов среды в двух контекстах -ориентация на возможность их использования или опосредствование действий их использованием - дало автору возможность проследить временную динамику процесса "культурации" в косвенном (отражаемом помощником психолога) виде.

Рис. 3.1. Динамика переменных, отражающих инструментальное и ориентационное отношение к "артефактам" в созданном игровом контексте

На диаграмме, представленной на рис. 3.1, видно, как растет со временем пребывания в искусственной среде "Пятого измерения" количественный показатель инструментального отношения к ее элементам по сравнению с иной тенденцией - снижением индексов общей ориентировки на элементы среды. Таким образом, в естественных условиях проведения этого исследования выделялись те показатели, динамика которых служила верификации (эмпирической проверке) теоретической гипотезы о роли "артефактов" как задаваемых ребенку средств преобразования его игровой деятельности и тем самым - его развития.