Исследование манипуляций: Пентагон оплатит исследования о влиянии на поведение интернет-пользователей — РТ на русском

В то же время способ проведения экспериментов иногда вызывает критику иного рода. В частности, необходимость манипулировать независимой переменной и контролировать посторонние переменные означает, что эксперименты часто проводятся в условиях, которые кажутся искусственными (Bauman, McGraw, Bartels, & Warren, 2014). Во многих психологических экспериментах все участники являются студентами и приезжают в класс или лабораторию, чтобы заполнить серию бумажно-карандашных анкет или выполнить тщательно разработанную компьютеризированную задачу.Рассмотрим, например, эксперимент, в котором исследователь Барбара Фредриксон и ее коллеги заставляли студентов старших курсов приходить в лабораторию на территории кампуса и выполнять тест по математике в купальнике (Fredrickson, Roberts, Noll, Quinn, & Twenge, 1998). , эта манипуляция может показаться глупой. Когда же студентам бакалавриата придется выполнять тесты по математике в купальниках, помимо этого эксперимента?

Проблема, с которой мы сталкиваемся, — это проблема внешней действительности .Эмпирическое исследование имеет высокую внешнюю валидность, если способ его проведения поддерживает обобщение результатов на людей и ситуации, выходящие за рамки фактически изученных. Как правило, исследования имеют более высокую внешнюю валидность, когда участники и изучаемая ситуация похожи на те, которые исследователи хотят обобщить и с которыми участники сталкиваются каждый день, что часто называют приземленным реализмом. Представьте, например, что группу исследователей интересует, как на покупателей в крупных продуктовых магазинах влияет то, упакованы ли хлопья для завтрака в желтые или фиолетовые коробки.Их исследование было бы с высокой степенью внешней достоверности и высоким приземленным реализмом, если бы они изучали решения обычных людей, совершающих еженедельные покупки в реальном продуктовом магазине. Если бы покупатели купили намного больше хлопьев в фиолетовых коробках, исследователи были бы достаточно уверены, что это увеличение будет справедливо и для других покупателей в других магазинах. Однако их исследование было бы относительно низким по внешней достоверности, если бы они изучали выборку студентов бакалавриата в лаборатории в выбранном университете, которые просто оценивали привлекательность различных цветов, представленных на экране компьютера; тем не менее, это исследование будет иметь высокий психологический реализм, если один и тот же мыслительный процесс используется как в лаборатории, так и в реальном мире.Если бы студенты сочли фиолетовый более привлекательным, чем желтый, исследователи не были бы очень уверены в том, что это предпочтение актуально для решений покупателей продуктовых хлопьев из-за низкой внешней достоверности, но они могли бы быть уверены, что визуальная обработка цветов имеет высокий уровень. психологический реализм.

Однако нам следует быть осторожными, чтобы не сделать общий вывод о низкой внешней достоверности экспериментов. Одна из причин в том, что эксперименты не должны казаться искусственными.Учтите, что эксперимент Дарли и Латане предоставил достаточно хорошую имитацию реальной чрезвычайной ситуации. Или рассмотрим полевые эксперименты, которые проводятся полностью вне лаборатории. В одном из таких экспериментов Роберт Чалдини и его коллеги изучали, решают ли гости отеля повторно использовать свои полотенца на второй день, а не стирать их как способ экономии воды и энергии (Cialdini, 2005). Карточка оставлена ​​в большой выборке гостиничных номеров.В одной версии сообщения подчеркивается уважение к окружающей среде, в другой подчеркивается, что отель пожертвует часть своих сбережений на экологические цели, а в третьей подчеркивается, что большинство гостей отеля предпочитают повторно использовать свои полотенца. В результате гости, получившие сообщение о том, что большинство гостей отеля предпочитают повторно использовать свои полотенца, повторно использовали свои собственные полотенца значительно чаще, чем гости, получившие одно из двух других сообщений. Учитывая то, как они проводили свое исследование, весьма вероятно, что их результат будет верен и для других гостей в других отелях.

Вторая причина не делать общий вывод о том, что эксперименты имеют низкую внешнюю значимость, заключается в том, что они часто проводятся для изучения психологических процессов, которые могут иметь место в различных людях и ситуациях. Вернемся к эксперименту Фредриксона и его коллег. Они обнаружили, что женщины, участвовавшие в их исследовании, но не мужчины, хуже справлялись с тестом по математике, когда были в купальниках. Они утверждали, что это гендерное различие связано с большей тенденцией женщин объективировать себя — думать о себе с точки зрения стороннего наблюдателя, — что отвлекает их внимание от других задач.Более того, они утверждали, что этот процесс самообъективации и его влияние на внимание, вероятно, будет иметь место в самых разных женщинах и ситуациях — даже если ни одна из них никогда не проходит тест по математике в купальнике.

Срок действия конструкции

В дополнение к обобщаемости результатов эксперимента, еще одним элементом, который необходимо тщательно изучить в исследовании, является качество манипуляций эксперимента или валидность конструкции . Исследовательский вопрос, с которого начали Дарли и Латане, звучит так: «Распространяется ли помогающее поведение?» Они выдвинули гипотезу, что участники лаборатории с меньшей вероятностью будут помогать, если будут полагать, что помимо них есть больше потенциальных помощников.Этот переход от вопроса исследования к плану эксперимента называется операционализация (см. Главу 2 для получения дополнительной информации об операционном определении). Дарли и Латане применили независимую переменную распределения ответственности, увеличив количество потенциальных помощников. Оценивая этот план, мы бы сказали, что валидность конструкции была очень высокой, потому что экспериментальные манипуляции очень четко отражают исследовательский вопрос; был кризис, способ для участника помочь, и увеличение числа других учащихся, участвующих в обсуждении, они предоставили способ проверить распространение.

Что, если изменится количество условий в исследовании Дарли и Латане? Подумайте, было ли всего два условия: один учащийся участвует в обсуждении или два. Несмотря на то, что мы можем видеть уменьшение помощи, добавляя еще одного человека, это может быть не явной демонстрацией диффузии ответственности, а просто присутствием других. Мы могли бы подумать, что это форма социального запрета Бандуры (обсуждается в главе 4). Действительность конструкции будет ниже. Однако, если бы было пять условий, возможно, мы бы увидели, что снижение продолжится при увеличении числа участников обсуждения, или, возможно, оно выйдет на плато после определенного числа людей.В этой ситуации мы не обязательно узнаем больше о распределении ответственности, или это может стать другим явлением. При добавлении дополнительных условий достоверность конструкции может не повыситься. Планируя свой собственный эксперимент, подумайте, насколько хорошо исследуемый вопрос реализует ваше исследование.

Статистическая достоверность

Распространенная критика экспериментов состоит в том, что в исследовании недостаточно участников. Основная причина этой критики заключается в том, что на небольшой выборке сделать обобщение о популяции сложно.Вначале кажется, что эта критика касается внешней валидности, но есть исследования, в которых небольшие размеры выборки не являются проблемой (в главе 10 будет обсуждаться, как маленькие выборки, даже из одного человека, по-прежнему очень полезны для психологических исследований). Таким образом, небольшие размеры выборки фактически являются критикой статистической достоверности . Статистическая достоверность говорит о том, подтверждают ли статистические данные, полученные в ходе исследования, сделанные выводы.

Необходимо провести надлежащий статистический анализ данных, чтобы определить, было ли обнаружено предсказанное различие или взаимосвязь.Количество условий и общее количество участников будут определять общий размер эффекта. Имея эту информацию, можно провести анализ мощности, чтобы определить, есть ли у вас реальная разница. При разработке исследования лучше всего подумать об анализе мощности, чтобы можно было набрать и протестировать необходимое количество участников (подробнее о величине эффекта в главе 12). Чтобы спланировать статистически достоверный эксперимент, подумайте о статистических тестах в начале разработки, чтобы убедиться, что результатам можно верить.

Приоритет действия

Эти четыре важных значения — внутреннее, внешнее, конструктивное и статистическое — полезно иметь в виду, когда читаете о других экспериментах и ​​планируете свои собственные. Однако исследователи должны расставить приоритеты, и часто невозможно иметь высокую достоверность во всех четырех областях. В исследовании Чалдини об использовании полотенец в отелях внешняя достоверность была высокой, но статистическая достоверность была более скромной. Это несоответствие не делает исследование недействительным, но показывает, где можно улучшить результаты будущих последующих исследований (Goldstein, Cialdini, & Griskevicius, 2008).Морлинг (2014) указывает, что большинство психологических исследований имеют высокую внутреннюю и конструктивную валидность, но иногда жертвуют внешней валидностью.

Опять же, для манипулировать независимой переменной означает систематически изменять ее уровень, чтобы разные группы участников подвергались воздействию разных уровней этой переменной, или одна и та же группа участников подвергалась воздействию разных уровней в разное время. Например, чтобы увидеть, влияет ли экспрессивное письмо на здоровье людей, исследователь может попросить некоторых участников написать о травмирующих переживаниях, а других — о нейтральных переживаниях.Как обсуждалось ранее в этой главе, различные уровни независимой переменной называются условиями, и исследователи часто дают условиям короткие описательные имена, чтобы было легче говорить и писать о них. В этом случае состояния можно было бы назвать «травматическим состоянием» и «нейтральным состоянием».

Обратите внимание, что манипулирование независимой переменной должно включать активное вмешательство исследователя. Сравнение групп людей, различающихся по независимой переменной, до начала исследования — не то же самое, что манипулирование этой переменной.Например, исследователь, который сравнивает здоровье людей, которые уже ведут дневник, со здоровьем людей, которые не ведут дневник, не манипулировал этой переменной и, следовательно, не проводил эксперимент. Это различие важно, потому что группы, которые уже различаются одним способом в начале исследования, скорее всего, будут различаться и по другим параметрам. Например, люди, которые предпочитают вести дневники, также могут быть более сознательными, более замкнутыми или менее подверженными стрессу, чем люди, которые этого не делают. Следовательно, любое наблюдаемое различие между двумя группами с точки зрения их здоровья могло быть вызвано тем, ведут они дневник или нет, или могло быть вызвано какими-либо другими различиями между людьми, которые ведут и не ведут журналы.Таким образом, активное манипулирование независимой переменной имеет решающее значение для устранения проблемы третьей переменной.

Конечно, есть много ситуаций, в которых независимой переменной нельзя манипулировать по практическим или этическим причинам, и поэтому эксперимент невозможен. Например, нельзя повлиять на то, имеют ли люди значительный ранний опыт болезни или нет, что делает невозможным проведение эксперимента по влиянию ранних переживаний болезни на развитие ипохондрии.Это предостережение не означает, что невозможно изучить взаимосвязь между ранним переживанием болезни и ипохондрией — только то, что это должно быть сделано с использованием неэкспериментальных подходов. Мы подробно обсудим этот тип методологии позже в книге.

Во многих экспериментах независимая переменная — это конструкция, которой можно манипулировать только косвенно. Например, исследователь может попытаться косвенно манипулировать уровнем стресса участников, сказав некоторым из них, что у них есть пять минут на подготовку короткой речи, которую они затем должны будут произнести перед аудиторией других участников.В таких ситуациях исследователи часто включают в свою процедуру проверку манипуляции . Проверка на манипуляции — это отдельная мера конструкции, которой исследователь пытается манипулировать. Например, исследователи, пытающиеся манипулировать уровнями стресса участников, могут дать им анкеты стресса на бумаге и карандаше или измерить их артериальное давление — возможно, сразу после манипуляции или в конце процедуры — чтобы убедиться, что они успешно манипулировали этой переменной.

Как мы видели ранее в этой главе, посторонняя переменная — это все, что изменяется в контексте исследования, кроме независимых и зависимых переменных.Например, в эксперименте по влиянию выразительного письма на здоровье посторонние переменные будут включать переменные участников (индивидуальные различия), такие как их письменные навыки, диета и размер обуви. Они также будут включать ситуационные переменные или переменные задачи, такие как время суток, когда участники пишут, пишут ли они от руки или на компьютере, и погода. Посторонние переменные создают проблему, потому что многие из них могут иметь некоторое влияние на зависимую переменную.Например, на здоровье участников будут влиять многие вещи, кроме того, будут ли они писать экспрессивно или нет. Этот влияющий фактор может затруднить отделение влияния независимой переменной от влияния посторонних переменных, поэтому важно, чтобы контролировал посторонних переменных, сохраняя их постоянными.

Посторонние переменные затрудняют обнаружение влияния независимой переменной двумя способами. Один из них — добавление изменчивости или «шума» к данным.Представьте себе простой эксперимент по влиянию настроения (счастливое или грустное) на количество счастливых детских событий, которые люди могут вспомнить. Участников помещают в негативное или позитивное настроение (показывая им счастливый или грустный видеоклип), а затем просят вспомнить как можно больше счастливых детских событий. В таблице 6.1 показано, как могли бы выглядеть данные, если бы не было посторонних переменных и на количество вспоминаемых участниками событий счастливого детства влияло только их настроение. Каждый участник в состоянии счастливого настроения вспомнил ровно четыре счастливых события детства, а каждый участник в состоянии грустного настроения вспомнил ровно три.Эффект настроения здесь очевиден.

Однако в действительности данные, вероятно, будут больше похожи на данные таблицы 6.2. Даже в состоянии счастливого настроения некоторые участники будут вспоминать меньше счастливых воспоминаний, потому что у них меньше возможностей для использования, они используют менее эффективные стратегии вспоминания или менее мотивированы. И даже в грустном состоянии некоторые участники будут вспоминать больше счастливых детских воспоминаний, потому что у них больше счастливых воспоминаний, которые они могут использовать, они используют более эффективные стратегии вспоминания или они более мотивированы.

Хотя средняя разница между двумя группами такая же, как и в идеализированных данных, эта разница гораздо менее очевидна в контексте большей изменчивости данных.Таким образом, одна из причин, по которой исследователи пытаются контролировать посторонние переменные, заключается в том, что их данные больше похожи на идеализированные данные в таблице 6.1, что облегчает обнаружение эффекта независимой переменной (хотя реальные данные никогда не выглядят достаточно хорошо , а не ).

Один из способов контролировать посторонние переменные — сохранять их постоянными. Этот метод может означать поддержание постоянных переменных ситуации или задачи путем тестирования всех участников в одном месте, предоставления им одинаковых инструкций, обращения с ними одинаково и т. Д.Это также может означать постоянство переменных участников. Например, многие языковые исследования ограничивают участников правшами, у которых языковые области обычно изолированы в левом полушарии головного мозга. У левшей языковые области с большей вероятностью будут изолированы в правом полушарии головного мозга или распределены по обоим полушариям, что может изменить способ обработки речи и тем самым добавить шум к данным.

В принципе, исследователи могут контролировать посторонние переменные, ограничивая участников одной очень конкретной категорией людей, например 20-летними, гетеросексуальными, женщинами, специалистами в области психологии-правши.Очевидным недостатком этого подхода является то, что он снизит внешнюю валидность исследования — в частности, степень, в которой результаты могут быть обобщены за пределами фактически изученных людей. Например, может быть неясно, применимы ли результаты, полученные на выборке молодых гетеросексуальных женщин, к пожилым гомосексуальным мужчинам. Во многих ситуациях преимущества разнообразного образца перевешивают снижение шума, достигаемое однородным.

Второй способ, которым посторонние переменные могут затруднить обнаружение эффекта независимой переменной, — это превращение в мешающие переменные.Смешивающая переменная — это посторонняя переменная, которая в среднем различается на по уровням независимой переменной. Например, почти во всех экспериментах коэффициенты интеллекта участников (IQ) будут посторонней переменной. Но пока есть участники с более низким и более высоким IQ на каждом уровне независимой переменной, так что средний IQ примерно равен, тогда это изменение, вероятно, приемлемо (и даже может быть желательно). Однако было бы плохо, если бы участники на одном уровне независимой переменной имели в среднем значительно более низкий IQ, а участники на другом уровне — в среднем значительно более высокие.В этом случае IQ будет смешанной переменной.

Смешивать — значит сбивать с толку, и именно из-за этого эффекта смешивающие переменные нежелательны. Поскольку они различаются в зависимости от условий — как и независимая переменная — они обеспечивают альтернативное объяснение любой наблюдаемой разницы в зависимой переменной. На рисунке 6.1 показаны результаты гипотетического исследования, в котором участники с положительным настроением набрали более высокие баллы при выполнении задания на память, чем участники с отрицательным настроением.Но если IQ является смешивающей переменной — участники с положительным настроением имеют в среднем более высокие IQ, чем участники с отрицательным настроением, — тогда неясно, положительное настроение или более высокий IQ заставили участников с первым условием оценка выше. Один из способов избежать смешения переменных — оставить посторонние переменные постоянными. Например, можно предотвратить превращение IQ в мешающую переменную, ограничив участников только теми, у кого IQ ровно 100.Но такой подход не всегда желателен по причинам, которые мы уже обсуждали. Второй и гораздо более общий подход — случайное присвоение условиям — будет подробно обсужден в ближайшее время.

• Эксперимент — это тип эмпирического исследования, которое включает манипулирование независимой переменной, измерение зависимой переменной и контроль посторонних переменных.
• Исследования имеют высокую внутреннюю валидность в той степени, в которой способ их проведения поддерживает вывод о том, что независимая переменная вызвала любые наблюдаемые различия в зависимой переменной. Эксперименты обычно имеют высокую внутреннюю достоверность из-за манипулирования независимой переменной и контроля посторонних переменных.
• Исследования имеют высокую внешнюю достоверность в той степени, в которой результат может быть распространен на людей и ситуации, выходящие за рамки фактически изученных.Хотя эксперименты могут показаться «искусственными» и не имеющими внешней достоверности, важно учитывать, могут ли изучаемые психологические процессы действовать в других людях и ситуациях.

1. Практика: перечислите пять переменных, которыми исследователь может управлять в эксперименте. Перечислите пять переменных, которыми исследователь не может управлять в эксперименте.
2. Практика: по каждой из следующих тем решите, можно ли изучить эту тему с использованием экспериментального плана исследования, и объясните, почему или почему нет.
   1. Влияние повреждения теменной доли на способность людей выполнять основную арифметику.
   2. Влияние клинической депрессии на количество близких друзей.
   3. Влияние группового обучения на социальные навыки подростков с синдромом Аспергера.
   4. Влияние оплаты людям за прохождение теста IQ на их результаты в этом тесте.

Необходимы ли проверки на манипуляции?

Проверки манипуляции, которые не являются манипуляциями

Есть несколько вопросов, которые следует задать о проверке манипуляций, чтобы решить, вероятно ли это манипуляция.

Это событие? Что-то новое происходит с участником? Анкета или даже вопрос — это событие (Schwarz, 1999). Когда происходит что-то новое, участник может задаться вопросом: «О чем это?» Почти все словесные меры — это события, даже эссе, которые позже будут закодированы для чего-то, о чем участник не знает. Участник все еще может спросить: «Что это такое?» И экспериментатор должен получить ответ на этот вопрос. В контексте легенды о творчестве эссе можно объяснить как средство измерения определенного типа творчества.Если история на обложке посвящена памяти, эссе можно представить как вспомогательное задание, чтобы дать больше времени пройти перед тестом на память. Хорошая обложка имеет смысл для всех частей исследования. Если событие имеет смысл как часть общей схемы эксперимента, если у участника есть ответ на вопрос «О чем это?» менее вероятно, что он будет выделяться тем, что участник должен попытаться понять.

Невербальные меры также могут быть событиями, и если они есть, о них стоит беспокоиться так же, как и о словесных показателях.Если истощение энергии измеряется путем попросить участника сжать предмет, измеряющий силу захвата, участник может задаться вопросом об этом. Если стресс измеряется путем того, что участник несколько раз плюнул в трубку во время эксперимента, это может быть особенностью эксперимента, которая выделяется больше всего для участника, который может испытывать отвращение или стресс от процедуры. Непрерывная физиологическая или видеосъемка — это не одно и то же событие, потому что она существует как до, так и после лечения независимой переменной (если исследователь не привлекает внимание к ней в конкретный момент, включая ее, возясь с ней и т. Д.). Это может сделать общую обстановку необычной и вызвать вопросы о возможности обобщения, но часть потока поведения, которую экспериментатор позже выбирает в качестве проверки манипуляции, не является событием, которое будет заметно для участника.

Может ли участник скорректировать свой ответ так, чтобы он соответствовал тому, что, по его мнению, является гипотезой, опровергнуть то, что, по его мнению, является гипотезой, или иным образом отреагировать на информацию, которую он получил в результате проверки манипуляции? Десятилетия исследований показали, что «нет необходимого соответствия между тем, что субъекты чувствуют, верят, ожидают или делают, и тем, что они говорят» (Carlsmith et al., 1976, с. 193; Каган, 2007; Шварц, 2007). Отвечая на вопросы, люди делают выводы о намерениях вопрошающего, интерпретируя каждый вопрос в свете того, что было сказано ранее, и корректируют свои ответы, чтобы они соответствовали своему восприятию предполагаемого значения и цели вопроса. Таким образом, участник, который не напуган, может считать себя напуганным, потому что он понимает, что фильм, который она только что посмотрела, должен был быть пугающим. Или испуганный участник может не захотеть в этом признаться.

Есть ли способы проверить эффективность манипуляции, не рискуя повлиять на реакцию участника на меру зависимой переменной? Один из распространенных методов — не проверять манипуляции до тех пор, пока зависимая переменная уже не будет измерена.Это гарантирует, что проверка манипуляции не повлияла на ответ зависимой переменной. Однако перенос проверки на манипуляции в конец исследования может поставить под угрозу ее достоверность в качестве проверки на манипуляции. Участники могут не помнить, что они чувствовали и думали до того, как была принята мера зависимой переменной, или они могут не желать признавать, что были напуганы или рассержены. Или, что еще хуже, так же, как и в обычной последовательности, на зависимую переменную может повлиять как манипуляция, так и проверка манипуляции, так что в этой измененной последовательности на проверку манипуляции может повлиять как манипуляция, так и измерение зависимой переменной.Если участница успешно разрешила диссонанс, изменив свое отношение, она не может сообщать о каком-либо диссонансе, или, если она успешно наказала своего врага, она не может сообщать о какой-либо враждебности. Общеизвестно, что люди не осознают изменений в своем отношении или чувствах и склонны полагать, что то, что они чувствуют сейчас, — это то, что они чувствовали все это время (Bem and McConnell, 1970). Было бы неверно заключить, что, если проверка манипуляции пост-зависимой переменной не показала никаких эффектов, лечение не смогло создать прогнозируемое психическое состояние.Психическое состояние могло быть там, где должно было быть, но исчезло к тому времени, когда оно было измерено. Точно так же «успешная» проверка с помощью манипуляций не является гарантией того, что лечение привело к желаемому состоянию. Человек может сделать вывод о своем состоянии, не вспоминая, что он чувствовал во время лечения, а вспоминая, как он отреагировал на измерение зависимой переменной. Например, если они наказали сообщника, они могут сделать вывод, что он, должно быть, был зол.

Отложить IMC до конца исследования также проблематично: по мере того, как продолжаются исследования, участники часто уделяют меньше внимания и прибегают к удовлетворению (Krosnick, 1999; Galesic and Bosnjak, 2009), поэтому они могут не пройти IMC в конце исследования. исследование, даже если они были внимательны ранее.Это сделало бы IMC по окончании исследования чрезмерно консервативными мерами внимания. Кроме того, в ходе эксперимента внимательность спадает и ускользает. IMC может измерять внимание только в момент администрирования, поэтому внимательность во время решающей задачи может отличаться от внимательности во время IMC, которое происходит позже. Беринский и др. (2014) задали участникам четыре вопроса IMC, разнесенных по ходу опроса, и обнаружили, что прохождение одного IMC коррелирует с прохождением другого между r = 0.38 и r = 0,46. Нереалистично предполагать, что внимание остается постоянным на протяжении всего исследования или что единичный IMC является надежной мерой внимания. Участники могут быть невнимательными во время важного мероприятия, но пройти отложенную IMC или наоборот.

Есть много способов повысить внимательность помимо IMC. Следует учитывать план обследования; более короткие опросы, интересные опросы и опросы, проводимые лично, хорошо удерживают внимание (Krosnick, 1999; Galesic and Bosnjak, 2009; Oppenheimer et al., 2009). Чаще всего IMC используются онлайн на платформах для проведения опросов, таких как Amazon Mechanical Turk, где исследователей особенно беспокоят невнимательные участники. Однако исследования показывают, что это беспокойство может быть неуместным. MTurkers были поощрены быть такими же или более внимательными, чем студенты предметного пула колледжей (Hauser and Schwarz, 2016), особенно MTurkers, которые соответствуют определенным ограничениям рабочих, которые легко реализовать (Peer et al., 2014).

Единственный способ выяснить, повлияла ли проверка на манипуляции на результат исследования, — это эксперимент: запустить исследование с проверкой на манипуляции и без нее.Если результаты совпадают, можно сделать вывод, что проверка манипуляций не помешала изучаемому нами процессу. Логика такая же, как и при проверке предтестовой сенсибилизации: если мы спросим участников об их отношении к чужой группе прямо перед тем, как показать им наш фильм против предрассудков, мы не сможем сказать, связаны ли эффекты с фильмом (как мы предполагаем ), к предварительному тесту или к комбинации предварительного тестирования и пленки. Кэмпбелл и Стэнли (1963) рекомендовали план Соломона из четырех групп для решения этой проблемы.Если эксперимент включает два условия — предварительный тест-обработка-посттест и предварительный тест-нет лечения-посттест , тогда необходимо добавить еще два условия, чтобы обнаружить или исключить эффекты предварительного тестирования — без предварительного тестирования-лечения-посттеста. Состояние и состояние без предварительного тестирования, без обработки и после тестирования . В случае проверок манипуляции четырьмя условиями будут: мера переменной, зависящей от проверки-манипуляции, мера переменной, зависящей от проверки-манипуляции, мера переменной, зависящей от проверки-манипуляции, мера переменной, зависящей от проверки-манипуляции, и : нет лечения-нет манипуляции. мера зависимой переменной от проверки, или систематическое изменение размещения контрольной проверки до или после измерения зависимой переменной.Однако такая конструкция встречается крайне редко (см. Таблица ).

Другой метод — найти проверку манипуляции, которая не является событием, которое участник может заметить. Webb et al. (1966) рекомендовал использовать ненавязчивых мер, , мер, которые можно было предпринять без ведома участника. Примеры включают некоторые показатели наблюдения, некоторые поведенческие показатели, некоторые физиологические показатели и даже некоторый анализ вербальных показателей.

Меры наблюдения, распространенные в поведении животных и психологии развития, предполагают, что наблюдатель записывает поведение человека или группы напрямую или обычно менее навязчиво на видеокассету.Хмурятся ли участники в состоянии гнева больше? Или наблюдатели, слепые к условиям, оценивают этих людей как более злых, более уверенных или более уверенных, чем люди в других условиях? Если бы видеокамера в зарегистрированной копии исследования Strack с ручкой во рту была скрыта от участников, а не явно доведена до их сведения, это, вероятно, было бы незаметным. Конечно, такого рода проверка манипуляций обычно может использоваться только тогда, когда участник делает что-то, кроме заполнения форм или сидения за компьютером.

Иногда аспекты поведения можно измерить без участия людей-наблюдателей. Время реакции, используемое для измерения скорости мыслительной обработки, является наиболее распространенным примером. Хотя время реакции обычно используется как мера зависимой переменной, нет причин, по которым время реакции нельзя было бы использовать в качестве проверки манипуляции, например, если исследователь хотел варьировать, были ли проблемы легкими или трудными, или стимулы были ясными или неоднозначными. Вариабельность ответов также может использоваться исследователями для проверки того, насколько внимательно участники обращают внимание.Если участник «прячет линии», отметив одно и то же число на всех шкалах оценок, или согласен как с прямым, так и с обратным кодом, тогда исследователь может сделать вывод, что участник не обращал внимания на манипуляцию (для обзора эти методы, см. Curran, 2016).

Другие аспекты поведения, помимо скорости и изменчивости, потенциально поддаются измерению. Например, исследователи изучили выбранное расстояние от сообщника или речевые ошибки в качестве меры дискомфорта (например,г., Word et al., 1974). Физиологические показатели, такие как частота сердечных сокращений, артериальное давление, GSR, расширение зрачка или частота дыхания, часто используются в качестве показателей стресса или возбуждения; мимика как мера определенных эмоций; а показатели активности мозга все в большей степени позволяют измерять конкретные психические процессы (Cacioppo et al., 2017).

Однако не все поведения ненавязчивы. Обычно мы предполагаем, что физиологические и мозговые процессы нельзя контролировать сознательно, но поведенческие реакции могут.Если участник только что выполнил сложное физическое задание, а затем ему дали определенную силу захвата, он может сжимать меньше, потому что он знает, что должен чувствовать себя слабым. Или, если ей сказали, что человек, с которым она собирается поговорить, теплый и похожий на нее (например, в результате манипуляции симпатиями), она может много улыбаться, потому что думает, что этого от нее ждут. Измерение улыбки, вероятно, будет гораздо лучшей проверкой манипуляции, чем вопрос: «Насколько симпатичен этот человек?» Поскольку вопрос о симпатии — важное событие, а ненавязчивая мера улыбки — нет, улыбка не полностью выходит за рамки сознательного контроля.

Даже словесные меры иногда можно использовать ненавязчиво. Исследователь, заинтересованный в создании чувства независимости или взаимозависимости, может попросить участника написать открытый отчет о некотором опыте, а затем указать, как часто участник использует «мы» вместо «я». Исследователь, заинтересованный в том, чтобы вызвать положительные или отрицательные эмоции или страх против гнева, может кодировать частоту положительных и отрицательных слов или слов страха и гнева. Лингвистический опрос и подсчет слов (LIWC; Pennebaker et al., 2001) позволяет измерять большое количество лингвистических переменных, или исследователь может разработать схему кодирования, специально адаптированную к переменной, которой он или она пытается манипулировать (Dehghani et al., 2017).

Хотя эти меры носят устный характер, они, вероятно, будут гораздо менее навязчивыми, чем обычные рейтинговые шкалы, используемые в качестве проверок манипуляции. Написать краткое эссе о своих чувствах или каком-то опыте — это не то же самое, что ответить на шкалу, которая говорит: «Насколько тревожным (или враждебным, или взаимозависимым, или сострадательным) вы сейчас себя чувствуете?» Эти прямые измерения показывают, что экспериментатора интересуют тревожные (или враждебные, или взаимозависимые, или сострадательные) чувства.Обычно участник не имеет представления, что экспериментатор будет искать, кодируя эссе, или даже будет ли оно вообще кодироваться. Прикрытие, в котором написание эссе имеет смысл с точки зрения понимания участником цели эксперимента, снижает вероятность того, что она остановится и задастся вопросом, почему экспериментатор дает ей это задание.

Непрерывные подсознательные онлайн-измерения, которые начинаются до введения независимых переменных и продолжаются до конца исследования, могут быть безопасными.Экспериментатор ищет изменения, которые происходят от до и после независимой манипуляции с переменными в активности мозга или вегетативной нервной системы, в скорости речевых колебаний, в том, сколько раз участник отворачивается от стимула и т. Д., А также в изменениях, которые происходят. в экспериментальной группе, но не в контрольной, проводятся довольно надежные манипуляционные проверки. Могут возникнуть некоторые затраты с точки зрения обобщаемости или «экологической достоверности», если само измерительное устройство навязчиво, такое как полиграф или сканер FMRI, но это проблемы внешней, а не внутренней достоверности.Экспериментатор надеется, что сканер, или видеокамера, или любое другое измерительное устройство станут постоянным фоновым фактором эксперимента, так что участник вскоре перестанет обращать на него внимание и будет реагировать только на экспериментальные события. Экспериментатор также надеется, что нет никаких сложных взаимодействий между наличием устройства проверки манипуляции и ключевыми зависимыми переменными.

Распространенное возражение против использования поведенческих мер в качестве зависимых переменных или проверок манипуляции состоит в том, что они имеют несколько значений.Сохранение дистанции может означать застенчивость, а не враждебность; прерывание могло означать страх исключения, а не доминирования и так далее. Многие виды поведения не имеют однозначного соответствия с лежащими в основе состояниями, и для исследователя важно рассмотреть другие возможные значения поведения и разработать экспериментальный контекст так, чтобы предполагаемое значение было правдоподобным в этом контексте ( см. обсуждение этого вопроса в Ellsworth and Gonzalez, 2003). Исследователи должны делать предположения о значении поведения, используя эти меры.Но множественные значения словесных показателей и их чувствительность к небольшим контекстным факторам были известны в течение десятилетий: нет оснований полагать, что шкала оценок обеспечивает чистую и однозначную меру психических состояний, соответствующих словам на шкале. , и есть десятки хорошо задокументированных причин полагать, что это не так (Schwarz, 1999; Kagan, 2007). Заполнение шкалы — это событие, которое прерывает опыт участника, и реакция на шкалу является не только отражением опыта участника до появления шкалы, но также и ответом на то, что участник думает о самой шкале, и этот ответ может также изменить опыт так, что даже если экспериментатору удалось создать определенное психическое состояние, оно может больше не существовать после измерения.

Модуль 2: Дизайн исследования — Раздел 2 | ORI

Раздел 2: Экспериментальные исследования

В отличие от описательного исследования, эксперимент — это исследование, в котором лечение, процедура или программа намеренно вводятся и наблюдаются результат или исход. Словарь английского языка American Heritage Dictionary определяет эксперимент как «тест в контролируемых условиях, который проводится для демонстрации известной истины, проверки достоверности гипотезы или определения эффективности чего-то ранее не опробованного».»

Настоящие эксперименты состоят из четырех элементов: манипуляции, контроля, случайного назначения и случайного выбора. Наиболее важными из этих элементов являются манипуляции и контроль. Манипуляция означает, что исследователь намеренно изменяет что-то в окружающей среде. Контроль используется для предотвращения внешние факторы, влияющие на результат исследования.Когда чем-то манипулируют и контролируют, а затем происходит результат, это делает нас более уверенными в том, что манипуляция «вызвала» результат.Кроме того, эксперименты включают строго контролируемые и систематические процедуры, направленные на минимизацию ошибок и предвзятости, что также увеличивает нашу уверенность в том, что манипуляция «вызвала» результат.

Еще один ключевой элемент настоящего эксперимента — случайное распределение. Случайное распределение означает, что если в эксперименте есть группы или лечения, участники распределяются по этим группам или обработкам или случайным образом (как подбрасывание монеты).

Это означает, что независимо от того, кем является участник, у него / нее есть равные шансы попасть во все группы или виды лечения в эксперименте.Этот процесс помогает гарантировать, что группы или методы лечения схожи в начале исследования, чтобы было больше уверенности в том, что манипуляция (группа или лечение) «вызвала» результат. Более подробную информацию о случайном назначении можно найти в разделе Случайное назначение.

Определение : Эксперимент — это исследование, в котором намеренно вводятся лечение, процедура или программа и наблюдается результат или исход.

Пример экспериментального исследования

Экспериментальные исследования — Пример 1

Исследователь хочет оценить, является ли новый метод обучения математике учеников начальной школы более эффективным, чем стандартный метод обучения.Используя экспериментальный план, исследователь случайным образом (случайно) делит класс на две группы и называет их «Группа A» и «Группа B». Студенты не могут выбирать свою группу. Результатом процесса случайного распределения являются две группы, которые должны иметь одинаковые характеристики в начале эксперимента. В группе А учитель использует новый метод обучения для проведения урока математики. В группе B учитель использует стандартный метод обучения для проведения урока математики. Исследователь сравнивает результаты тестов в конце семестра, чтобы оценить успех нового метода обучения по сравнению со стандартным методом обучения.В конце исследования результаты показали, что учащиеся в группе с новым методом обучения набрали значительно более высокие баллы на выпускном экзамене, чем учащиеся в группе стандартного обучения.

Экспериментальные исследования — Пример 2

Инструктор по фитнесу хочет проверить эффективность растительной добавки, повышающей производительность, на учениках в ее классе упражнений. Чтобы создать похожие экспериментальные группы в начале исследования, студентов случайным образом распределяют на две группы (они не могут выбрать, в какую группу они входят).Учащимся обеих групп дают таблетку для приема каждый день, но они не знают, является ли таблетка плацебо (сахарная таблетка) или травяной добавкой. Инструктор дает группе A травяную добавку, а группе B — плацебо (сахарную пилюлю). Уровень физической подготовки студентов сравнивается до и после шести недель приема добавки или сахарной таблетки. Между двумя группами не было обнаружено различий в производительности, что позволяет предположить, что травяная добавка не была эффективной.

Плагиат и манипуляции с данными | Разоблачение науки

Манипуляция данными — это процесс, при котором научные данные подделываются, представляются непрофессиональным образом или изменяются с нарушением правил академического мира.Манипуляции с данными могут привести к искаженному восприятию предмета, что может привести к построению и проверке ложных теорий. Эксперимент, основанный на манипуляциях с данными, рискован и непредсказуем.

В современном мире мы ежедневно сталкиваемся с манипуляциями с данными. Вероятно, наиболее распространенным видом манипулирования данными является неправильное использование статистики — многие заголовки статей в Интернете основаны на неправильном использовании статистики, как и некоторые политические и экономические аргументы. Именно на этих примерах мы сконцентрируемся в этой главе.

Неправильное использование статистики включает подделку данных — процесс, в котором данные создаются без какой-либо связи с объектом данных, но наиболее важные виды неправильного использования статистики — это те, которые связаны с реальными данными, которые представлены таким образом, который может вводить в заблуждение. и даже опасно.

В этой главе мы попытаемся описать виды манипуляций с данными, которые существуют, и способы борьбы с ними. Самое главное — какие красные флажки следует искать при чтении статьи или проекта, которые могут быть признаком манипулирования данными.

Часть первая: Виды манипуляций с данными и их причины

Опускание важных фактов, факторов

Проблема, которая является частью еще более серьезной проблемы: ученые ищут результаты (потому что это означает гранты на исследования и т. Д.), И поэтому они иногда намеренно или непреднамеренно манипулируют данными, чтобы соответствовать своей гипотезе.

При проведении эксперимента ученые должны составить списки соответствующих факторов — например, для политического опроса это может быть возраст, доход или религиозные убеждения участников.Слабым местом здесь является тот факт, что ученые не могут придать значение важному фактору в исследовании. Если исследование «Компьютерные игры — искусство или нет?» было проведено с участниками в возрасте от пятидесяти до шестидесяти лет, то его результаты, вероятно, будут сильно отличаться от результатов того же исследования, проведенного с участниками в возрасте от пятнадцати до двадцати лет. Если в итоговой публикации возраст участников не указан четко, то это пример манипулирования данными и, в частности, неправильного использования статистических данных.

Как этого избежать?

Большинство ученых, проводя опросы и исследования в современном мире, не делают этого сами. В описанном выше примере «Компьютерные игры — искусство или нет?» Изучение ученого или ученых, стоящих за ним, записало бы всю специфику опроса, все вопросы и любую другую соответствующую информацию, которую они затем отправили бы в специальную компанию, проводящую опрос, которая будет заниматься фактическим сбором данных.

В мире много таких компаний — некоторые из них известные (например, Gallup, inc.) и некоторые из них печально известны. Есть и такие, о которых мало что известно. Какую бы компанию ни использовали ученые, журналисты или кто-либо, решивший опубликовать данные опроса — это должно быть описано в публикации. Если в публикации не упоминается компания, проводящая опрос (консалтинговая компания и т. Д.), То к данным не стоит относиться серьезно.

Чем лучше компания использовала в эксперименте, тем выше шансы, что у нее есть прозрачная система, которая позволяет любому, кто интересуется тем, как проводятся опросы, проводить расследования.Компании, имеющие репутацию сотрудников крупных фирм, таких как Apple, Microsoft и т. Д., Обычно довольно прозрачны, потому что для них попадание в ловушку манипулирования данными означало бы потерю клиентов.

Небольшие, малоизвестные компании не так сильно рискуют и поэтому чаще манипулируют данными. Для этого есть две основные причины. Во-первых, компания хочет порадовать клиента — дать ожидаемые результаты опроса. Хорошим примером этого являются компании, которые предоставляют политические рейтинги диктатур: Николай Чаушеску, румынский политик-коммунист, имел рейтинг одобрения 94% за два дня до своей смерти в результате расстрела (что произошло в результате революции в стране. ).Многие диктаторы имели такие высокие рейтинги прямо перед их падением — это можно объяснить только манипуляциями с данными (ну, на самом деле, воображение данных).

Но то же самое может случиться и с крупными производственными корпорациями. Представьте себе крупную табачную компанию, которая хочет провести исследование вероятности возникновения рака в результате курения сигарет, которые продает компания. Компания хочет получить определенный результат: вероятность не выше, чем для некурящих.Понимание этого может привести к тому, что компания, проводящая опросы, будет манипулировать данными для получения результатов, которые понравятся клиенту. У некоторых крупных корпораций даже есть компании, проводящие карманные опросы — компании, которые существуют только для создания данных, подтверждающих намерения корпорации.

Хорошим примером из реальной жизни может служить скандал с Volkswagen в 2015 году, когда корпорация Volkswagen сфальсифицировала информацию о выбросах газа своими автомобилями. Это привело к выпуску автомобилей, загрязняющих в сорок раз больше, чем разрешено законом.Фальсификация была произведена с использованием «устройства поражения» — умного программного обеспечения, которое включало бы контроль выбросов, когда автомобиль тестировался в лаборатории.

Самый простой способ разоблачить такого рода манипуляции — посмотреть на репутацию компании, проводившей исследование, и клиентов, которых она имела.

Вторая причина манипулирования данными для небольшой компании состоит в том, что исследования сложно проводить. Проведение опроса с несколькими тысячами участников — это большая работа в самых разных сферах.Легче просто собрать данные или скопировать данные из другого исследования той же темы (технически это плагиат, а не манипуляция данными, но эти два аспекта идут рука об руку). Позже мы расширим этот вопрос на примере «Нарушения в LaCour».

Ложная причинность и нелогичные последовательности

Ложная причинность и нелогичные последовательности — еще один способ манипулирования данными. Такая фальсификация делается для того, чтобы обмануть тех, кто не совсем знаком с предметом исследования.Представьте себе клетку с мышами определенного цвета шерсти. Ученый проследил за семьей через несколько поколений и выдвинул теорию, которая позже была опубликована: «Каждое поколение коричневых мышей умирает чаще, чем предыдущее». Это действительно простой пример, но он передает суть. Причина этой статистики (что верно) не в упомянутом цвете мышей, а в том, что каждое новое поколение имеет больше мышей, чем предыдущее, и, следовательно, имеет больше смертей.

Подобный график вводит в заблуждение (он также подразумевает упущение факта большего числа рождений, как вы могли заметить).Это помогает понять идею «неправильного использования статистики», потому что информация и факты на этом графике верны. Но они не находятся в той корреляции, которую пытается показать работа.

Как этого избежать?

Всегда помните, что яблоки и апельсины нельзя сравнивать. График или статистика обычно сравнивают данные, и важно понимать, что это за данные и как они связаны. Например: люди покупают больше зажигалок — больше людей заболевают раком — зажигалки вредны для вас.Неправильный поворот в том, что на самом деле люди заболевают раком, потому что курят, и покупают зажигалки, потому что курят. Поэтому очень важно проанализировать логические связи, которые устанавливает исследование.

Дноуглубительные работы и подгонка фактов

Дноуглубительные работы — это часть более серьезной проблемы, заключающейся в том, что ученые хотят получить результаты, о которых упоминалось ранее. Извлечение данных — это процесс, в котором исследователи просматривают большие объемы данных, пытаясь найти закономерности. Объемы данных, собираемых для дноуглубительных работ, обычно настолько велики, что может быть по крайней мере одно или два совпадения, которые можно использовать для обоснования теории.С появлением компьютеров это стало еще проще, потому что компьютер намного лучше вычисляет больше цепочек фактов из еще больших объемов данных.

Это приводит к публикациям, которые не имеют отношения к делу или основаны на чистом совпадении, которое является совпадением в том смысле, что оно ничего не означает, и не совпадением в том смысле, что это должно было произойти с объемом работы, вложенной в его поиск.

Подгонка фактов — это процесс, который в некотором смысле противоположен опущению фактов: факты формируются в соответствии с определенной теорией.Так, например, случается со многими историками. Хорошо известно, что историки всего мира на протяжении сотен лет пытались создать идеальную теорию истории, которая помогла бы нам предсказать будущее человечества и понять его прошлое. Вероятно, наиболее виноватыми в том, чтобы соответствовать действительности, являются некоторые философы-марксисты двадцатого века, у которых был довольно простой взгляд на историю как на повторяющийся процесс, который заставлял их говорить довольно увлекательные вещи.

Как этого избежать?

Проверьте факты.Это действительно важно во многих случаях. Если научный факт на самом деле является научным фактом, он, вероятно, упоминается в нескольких публикациях. Это может быть что-то революционное, о чем не упоминалось ранее (как предполагают многие названия клик-приманок), но подумайте об этом: вот полуреалистичный заголовок клик-приманки: «Бизнесмены прячутся таким образом, чтобы заработать деньги. Получите $$$ сегодня ». Примените правило больших чисел — если что-то подобное действительно будет правдой, вы бы первым открыли его? Это касается и научных исследований.Новое шокирующее открытие? Почему этого не было сделано раньше — пора пройтись по всем предыдущим пунктам и проверить исследования.

Эти три пункта не охватывают всего, что касается манипулирования данными и неправильного использования статистических данных, но они предоставляют наиболее важные инструменты, позволяющие обнаруживать их в той области, в которой есть хотя бы базовое понимание. У большинства людей не бывает такого большого шанса, как в примере во второй части, но большинство из них в какой-то момент своей жизни встречает сомнительные статьи.

Часть вторая: LaCour и научно обоснованное манипулирование данными.

Бывают уникальные ситуации, когда данными не просто манипулируют, а манипулируют профессионально. Факты по-разному продвигаются человеком, который знает, что он делает — простой пример, чтобы увидеть это в работе, — любые политические дебаты. Но здесь мы хотели бы взглянуть на ранее упомянутый случай «Неправильности в LaCour» — разоблачение Дэвидом Брукманом, в то время аспирантом Калифорнийского университета в Беркли, работы другого аспиранта, Майкла ЛаКура, который подделал огромное количество данных. в значительном исследовании восприятия однополых браков.Случай, произошедший в 2014-2015 годах, потряс научный мир.

Резюме исследования LaCour (по оценке LaCour)

ЛаКур нанял компанию USamp для исследования, которое подтвердило его теорию: взгляды людей на однополые браки могут резко измениться после разговора с кем-то, кто является гомосексуалистом. Это был масштабный опрос, в котором приняли участие десять тысяч респондентов. Исследование подтвердило теорию ЛаКура, которая была новым и уникальным результатом. Все предыдущие результаты в подобных работах показали, что люди практически не меняют свои политические и социальные взгляды.

Что сделал Брукман

Брукман был знаком с работами ЛаКура на ранних этапах и был им очень впечатлен. Он хотел провести аналогичные эксперименты. Изучив его, он обнаружил, что USamp или любая другая компания не смогла бы провести такое исследование за бюджет аспиранта. Это был его первый намек. Он не был в этом уверен — в то время он не пытался опровергнуть теорию ЛаКура. Он не стал открыто говорить об этом, потому что легко заработать репутацию человека, который не выполняет свою работу и просто пытается испортить работу другим.Многие люди — ученые, исследователи, с которыми разговаривал Брукман, говорили ему не публиковать подобные материалы.

Позже Брукман и Джош Калла (друг и коллега) заметили некоторые специфические несоответствия (политкорректный термин для «ошибок и фальсификаций») в используемых данных — они не выглядели достаточно случайными. Позже Калла нашла базу данных (1012 CCAP), которую скопировал ЛаКур, что было последним аргументом, который понадобился Брукману и Калле для публикации их отчета.

Результаты

ЛаКур потерял только что полученное положение в Принстоне и свою репутацию — теперь ему будет действительно трудно вернуться в мир науки.

Брукман попал в заголовки газет и много говорил о разоблачении и академической честности.

В то время как некоторые люди спорят о компетентности исследования LaCours, теперь выяснилось, что он на самом деле не нанимал какую-либо компанию, проводящую опросы, подделал письмо из USamp и солгал в более поздних интервью. После всех этих случаев, кажется, нет оснований для вопроса о «компетентности».

Уроки, которые необходимо усвоить

ЛаКур хотел получить результат, который сделал бы его первоклассным исследователем, и преуспел — до тех пор, пока разоблачение не успело стать довольно известным.Чтобы получить такой результат, он заимствовал данные и манипулировал ими, чтобы соответствовать своей теории, таким образом, он совершил ряд нарушений академической честности. Его поймали, и теперь он является отличным примером того, как работает разоблачение. Возможность такого разоблачения является одной из основных защит научного мира от академической нечестности, и поэтому ее следует защищать.

Заключительная часть третья: обучение работе с данными

Несмотря на то, что многое делается для разоблачения и опровержения манипуляций с данными, эта тема не является частью популярной культуры.Многие люди рассматривают такую ​​работу как научное мамбо-джамбо, когда один ботаник говорит другому ботанику, что этот ботаник потерял «Х» где-то в уравнении. Во-первых, как видно из примера ЛаКура, разоблачение не всегда связано с наукой высокого класса — Брукман только начал проверять, как ЛаКур проводит свои исследования.

Во-вторых, что, возможно, даже более важно, публикация ложных данных может причинить вред, как в уже описанном примере Volkswagen или в области медицины. Данные ЛаКура почти вызвали реформу многих систем и структур, которые касались политических и социальных взглядов из-за их «исходного» содержания.Даже незначительные знания, подобные представленному в этой главе, могут остановить людей от введения в заблуждение относительно определенных предметов и научить их подвергать сомнению другие исследования, даже если на первый взгляд они выглядят вполне законными.

Список литературы

Статья о деле LaCour:

http://nymag.com/scienceofus/2015/05/how-a-grad-student-uncovered-a-huge-fraud.html

Корпус:

http://web.stanford.edu/~dbroock/broockman_kalla_aronow_lg_irregularities.pdf

BBC на Volkswagen:

http://www.bbc.com/news/business-34324772

Манипуляции с независимой переменной

Опять же, до m a n i pul a t e независимая переменная означает систематическое изменение ее уровня, чтобы различные группы участников были подвержены воздействию разных уровней этой переменной, или одна и та же группа участников подвергается воздействию разных уровней в разное время.Например, чтобы увидеть, влияет ли экспрессивное письмо здоровья людей, исследователь может попросить одних участников написать о травмирующих переживаниях, а других — о нейтральных переживаниях. Различные уровни независимого переменные обозначаются как co n d i t i o n s , и исследователи часто называют условия короткими описательные имена, чтобы о них было легко говорить и писать.В этом случае состояния можно было бы назвать «травматическим состоянием» и «нейтральным состоянием».

Обратите внимание, что манипулирование независимой переменной должно включать активное вмешательство исследователя. Сравнение групп людей, различающихся по независимой переменной, до начало исследования — это не то же самое, что манипулирование этой переменной. Например, исследователь, который сравнивает здоровье людей, которые уже ведут дневник, со здоровьем людей, которые не ведут дневник. журнал не манипулировал этой переменной и поэтому не проводил эксперимент.Это важно, потому что группы, которые уже отличаются в одном отношении в начале исследования, скорее всего, отличаются и другими способами. Например, люди, которые предпочитают вести дневники, также могут быть более сознательными, более замкнутыми или менее подверженными стрессу, чем люди, которые этого не делают. Поэтому любые наблюдаемые различие между двумя группами с точки зрения их здоровья могло быть вызвано тем, ведут ли они дневник, или же могло быть вызвано какими-либо другими различиями между люди, которые ведут и не ведут журналы.Таким образом, активное манипулирование независимой переменной имеет решающее значение для устранения проблемы третьей переменной.

Конечно, есть много ситуаций, в которых независимой переменной нельзя манипулировать по практическим или этическим причинам, и поэтому эксперимент невозможен. Например, есть ли или нет, люди, имеющие значительный ранний опыт болезни, нельзя изменить, что делает невозможным проведение эксперимента по влиянию ранних переживаний болезни на развитие ипохондрия.Это не означает, что невозможно изучить взаимосвязь между ранним переживанием болезни и ипохондрией — только то, что это должно быть сделано с использованием неэкспериментальных подходов. Мы обсудим это подробно позже в книге.

Во многих экспериментах независимая переменная — это конструкция, которой можно манипулировать только косвенно. Например, исследователь может попытаться косвенно повлиять на уровень стресса участников, сказать некоторым из них, что у них есть пять минут, чтобы подготовить короткую речь, которую они затем должны будут выступить перед аудиторией других участников.В таких ситуациях исследователи часто включают m a ni pu l a t i o n ch e c k в их процедуре. Проверка манипуляции — это отдельная мера конструкции, которую исследователь пытается создать. манипулировать. Например, исследователи, пытающиеся управлять уровнями стресса участников, могут дать им анкету о стрессе на бумаге и карандаше или измерить их артериальное давление — возможно, сразу после манипуляции или в конце процедуры — чтобы убедиться, что они успешно манипулировали этой переменной.

Защитите себя от манипулирования P-значением | Ник Харас

К сожалению, p-значением можно легко манипулировать. Более того, это часто случается в реальной жизни, как в научных исследованиях, так и в исследованиях бизнеса. Например, обвинения в р-хакинге привели к дальнейшему сомнению результатов исследований после того, как они были опубликованы, поскольку их результаты нельзя было воспроизвести. С появлением все большего количества таких громких примеров p-hacking даже нашел свое место в поп-культуре.

«Неужели наука — чушь собачья? Нет, но сейчас много чуши маскируется под науку »- Джон Оливер

Каким бы способом вы ни манипулировали p-значениями, это приводит к неправильным решениям с дорогостоящими результатами, не говоря уже о потере авторитета исследователя.Если мы проверяем гипотезу, значение p выше определенного уровня статистической значимости указывает на то, что недостаточно доказательств, чтобы отвергнуть контраргумент гипотезе. Это не означает, что наша собственная гипотеза неверна. Однако это создает огромную серую зону в интерпретации p-значений, которой широко манипулируют как в исследованиях, так и в бизнесе.

Мы должны понимать, что наша работа как специалистов по обработке данных и исследователей — задавать вопросы и давать рекомендации, а не идти на поводу у оправдания того, что данная гипотеза верна.Однако прежде чем вы начнете читать дальше, я настоятельно рекомендую изучить основы тестирования и экспериментов.

Отсутствие достаточного количества доказательств для подтверждения гипотезы не означает, что гипотеза неверна. Однако этот факт был сильно искажен, чтобы опубликовать вводящие в заблуждение результаты научных исследований как в академических кругах, так и в бизнесе.

Прежде чем делать выводы из наших собственных исследований или какой-либо другой работы, мы всегда должны задавать себе эти вопросы.

Принимаем ли мы результат только потому, что он соответствует нашим предубеждениям?

Одна из распространенных причин, по которой происходит p-hacking, намеренно или нет, — это использование степеней свободы исследователя. Этот термин относится к степени гибкости, которую используют исследователи при разработке статистических экспериментов, чтобы результаты, которые они хотят опубликовать, оказались статистически значимыми. Обычно эти проектные решения сводятся к таким факторам, как переменные, включенные в эксперимент, решение о том, когда прекратить сбор данных, методы выборки данных и т. Д.

Наша работа как специалистов по обработке данных — объективно подтверждать наши гипотезы, а не защищать их.

Представьте себе, что у нас есть сеть супермаркетов, и обратите внимание, что в одном из наших магазинов пиво и подгузники всегда покупаются вместе. Означает ли это, что корреляция между продажами пива и подгузников реальна? Является ли корреляция статистически значимой? Что, если бы мы манипулировали экспериментом, чтобы получить статистически значимый результат, намеренно или нет. Например,

• Мы выбрали только те транзакции, которые содержали покупки детских товаров.
• Мы провели исследование только по нескольким магазинам в районе, где случайно оказалось много молодых пар с новорожденными.

Вместо этого, как хорошие специалисты по данным, мы действительно хотим предпринять дальнейшие шаги, чтобы гарантировать, что мы проводим надежный эксперимент. Речь идет о большем количестве переменных, чем просто продажа пива и подгузников. Например,

• Нам следует провести эксперимент на других рынках и проверить, воспроизводимы ли результаты.
• При выборе данных для эксперимента используйте случайную выборку.Это золотой стандарт.

Выводы на основе ложных результатов, которые мы считаем надежными, могут оказаться чрезвычайно дорогостоящими. Мы определенно не хотим, чтобы эти доллары вылетели в канализацию.

На каком пороге значимости мы готовы принять результаты?

Другими словами, каковы наши шансы попасть в Вегас? Наша гипотеза состоит в том, что пиво и подгузники идут рука об руку, а контраргумент — нет. Этот встречный аргумент является нулевой гипотезой.Что нужно сделать, чтобы отвергнуть нулевую гипотезу? Значение p предназначено для того, чтобы наставник был честным, прямолинейным и беспристрастным. Как мы интерпретируем его совет для принятия рационального решения? Составляем план. Мы проводим линию на песке, за которой, если значение p пересекает границу, мы не можем отклонить нулевую гипотезу. Эта линия на песке называется уровнем значимости или альфой.

Консервативный порог значимости не обязательно делает тест надежным. Он лишь указывает на уровень риска, на который мы готовы пойти, прежде чем принимать решения.

Означает ли более низкий, более консервативный порог значимости, что наш тест дает надежные результаты? Нет. Это просто показатель степени риска, на который мы готовы пойти. Но это не показатель качества наших исследований. Уровень значимости может быть более консервативным или менее строгим, в зависимости от области.

Порог для отклонения нулевой гипотезы может изменяться от домена к домену и может быть либо консервативным, либо ослабленным в зависимости от достоинства ситуации.Это не меняет качества исследования или надежности самого наблюдаемого p-значения.

Например, уровень значимости может быть более мягким для маркетингового исследования, чем для клинического испытания нового препарата. Однако ужесточение или ослабление этого порога не изменит достоинства исследования и надежности самой статистики p-значения. Наше суждение должно основываться на качестве исследования, и изменение уровня значимости, чтобы результат выглядел хорошо, не повлияет на то, насколько он хорош на самом деле.

Пять вещей, которые каждый исследователь должен знать о манипуляциях с изображениями

Манипуляция изображениями представляет собой серьезную проблему для мирового исследовательского сообщества и вызвала постоянные дискуссии о путях ее решения. Чтобы продвинуть этот дискурс и предоставить больше контекста, Академия исследователей Elsevier в партнерстве с центром HEADT при Университете Гумбольдта недавно провела бесплатный веб-семинар по обнаружению манипуляций с изображениями в научных статьях. Этот веб-семинар кратко рассматривает манипуляции с изображениями, исследует ограничения в ограничении манипуляций, демонстрирует инструменты, которые в настоящее время используются для обнаружения таких манипуляций, и приводит аргументы в пользу автоматизированного решения проблемы.

Вебинар представляет собой подробную презентацию группы из трех экспертов в области целостности исследований, обработки изображений и долгосрочного цифрового архивирования. Среди экспертов — профессор д-р Майкл Сидл, со-директор-основатель центра HEADT; Доктор Торстен Бек, научный сотрудник центра и старший вице-президент Elsevier по целостности исследований, доктор Эйсбранд Ян Альберсберг.

Ниже мы представляем пять наиболее важных уроков из вебинара по работе с изображениями.

1. Манипуляции с изображениями по-прежнему являются серьезной проблемой для ученых.

   Манипуляции с изображениями — серьезная проблема для исследовательского сообщества, которая требует окончательного решения. Согласно короткому опросу, проведенному ведущими во время вебинара, 52 процента аудитории оценили манипуляции с изображениями как «очень серьезную» проблему, стоящую перед их областью исследования, а еще 36 процентов оценили ее как «несколько серьезную». Только 18 процентов считают, что манипуляции с изображениями не представляют серьезной проблемы в их области.В целом, манипулирование научными образами явно представляет собой серьезную угрозу для авторитетной науки.

2. «Регулировка» изображения — в некоторых случаях приемлемо

   В некоторых случаях допускается незначительная корректировка / улучшение изображений. Допустимая настройка включает простое увеличение изображения и добавление соответствующих стрелок и выделений без искажения данных. Однако следует отметить, что при отправке исследовательских работ с изображениями в журналы для публикации исследователи должны обеспечить соблюдение руководящих принципов издателя и конкретного журнала.Вы можете найти эту страницу полезной, чтобы узнать больше о том, что обычно считается приемлемым.

3. Действуя в качестве рецензента, вы должны вызывать манипуляции с изображениями, если вы их видите.

   Важно как можно чаще бросать вызов манипуляциям с изображениями. Несмотря на отсутствие универсального решения проблемы, рецензенты могут по крайней мере предоставить доказательства тех аспектов изображения, которые, по их мнению, были изменены. Предоставляя такие конкретные доказательства, редактор может принять обоснованное решение относительно будущего рассматриваемой газеты.

4. Журналы и редакторы имеют последнее слово о манипуляциях с изображениями

   Экспертное суждение о том, было ли изображение подвергнуто манипуляциям, часто остается за редакторами журналов. В некоторых случаях институт, в котором проводилось исследование, может провести расследование и предоставить журналу важные доказательства. Редакторам будут помогать в процессе оценки внутренние правила, рекомендации для конкретных издателей, а также советы и предложения редакционной коллегии журнала.Надо сказать, что это все еще ручной процесс, который, безусловно, выиграет от структурных улучшений.

5. Автоматическое решение — идеальное решение.

   Чтобы уменьшить количество манипуляций с изображениями в научных исследованиях, необходимо будет применить определенную степень автоматизации, хотя для интерпретации результатов все равно потребуется мнение редакторов. Автоматизация внесла бы в этот процесс определенную научную строгость и избавила бы редакторов журналов и комитетов по вопросам честности исследований от головной боли, полагаясь исключительно на визуальный контроль.Усилия по достижению такого решения продолжаются. Однако многие инструменты, доступные в настоящее время для обнаружения манипуляций с изображениями, находятся на экспериментальной стадии и неудобны для пользователя. Различным заинтересованным сторонам необходимо будет сотрудничать, чтобы такое решение могло быть реализовано в кратчайшие сроки.

Чтобы узнать больше о манипуляциях с изображениями и о том, как избежать ошибок при подготовке изображений к публикации, послушайте Зидла и его коллег в этом модуле: Обнаружение манипуляций с изображениями: процедуры, инструменты и ограничения.

Вы также можете проверить часто задаваемые вопросы в разделе манипулирования изображениями, чтобы получить дальнейшие ответы от экспертов.