 |
 |
 |
 |
|
 |
 |
психологии. Многих статистиков и психологов не удовлетворяет акцент на статистической значимости
как единственной мере успеха исследования. В качестве альтернативы они все чаще принимают
статистический метод метаанализа, в котором собранные данные по определенному явлению
трактуются как один большой эксперимент, а каждое исследование — как отдельное наблюдение.
Таким образом, каждое исследование, в котором получены результаты в позитивном направлении, —
хотя оно может и не быть статистически значимым, — вносит вклад в общую прочность и надежность
явления, а не просто отбрасывается как неудавшаяся попытка повторения (Rosental, 1984; Glass, McGaw
& Smith, 1981).
С этой точки зрения исследования с применением ганцфельда демонстрируют впечатляющую
повторяемость: в 23 из 28 работ получены позитивные результаты; вероятность случайного получения
такого результата меньше одной тысячной.
Возможность повторения эффекта в том или ином эксперименте зависит также от того,
насколько устойчив этот эффект и сколько наблюдений проделано. Если эффект слабый, эксперимент, в
котором участвуют слишком мало испытуемых или сделано слишком мало наблюдений, не сможет
обнаружить его на статистически значимом уровне, несмотря на то что эффект на самом деле
существует. В ситуации с пустым полем, если эффект действительно существует и у него реальная
частота прямого попадания равна 38%, то следует ожидать, что в 30 сеансах (среднее количество для 28
исследований, упоминавшихся выше) статистически значимый пси-эффект будет получен только в
одной трети всех случаев (Utts, 1986).
Короче, неразумно требовать, чтобы всякий реальный эффект мог повторить в любое время
любой компетентный исследователь. Вопрос повторяемости более сложен, и метаанализ оказывается
ценным инструментом, чтобы справиться с некоторыми из этих сложностей.
Неадекватный контроль. Второй серьезный упрек в адрес парапсихологии состоит в том, что
во многих, если не в большинстве, экспериментов контроль за условиями был неадекватным и не
предпринимались предосторожности. Особенно печально, когда из-за дефектных процедур (чьей-либо
небрежности или обмана) испытуемые получали сообщаемую информацию нормальным сенсорным
путем. Это называют проблемой сенсорных утечек. Неадекватные процедуры рандомизации
(случайного выбора целевых стимулов) — еще одна общая проблема.
Методологическая неадекватность — бич многих наук, но история парапсихологии просто до
неприличия полна многообещающих результатов, которые ниспровергались после критического
анализа эксперимента (Akers, 1984). Одно общее обвинение против парапсихологии состоит в том, что в
предварительных, плохо контролируемых исследованиях часто получаются позитивные результаты, но
как только вводится более качественный контроль и меры предосторожности, эти результаты исчезают.
После того как в завершенном эксперименте вскрыт недостаток, уже нельзя убедительно
доказать, что он не вносил своего вклада в положительный результат; единственный выход —
переделать эксперимент правильно. Однако при наличии базы данных по нескольким экспериментам
можно оценить эту критику эмпирически путем метаанализа, проверив, действительно ли в плохо
контролируемых исследованиях получалось больше позитивных результатов, чем в хорошо
контролируемых. Если во всех экспериментах есть корреляция между процедурными недочетами и
положительными результатами, значит, есть и проблема. В случае базы данных по экспериментам с
ганцфельдом критик Хаймэн и парапсихолог Хонортон согласны, что недочеты неадекватных мер
предосторожности и возможность сенсорной утечки не коррелируют с положительными результатами.
Хаймэн утверждал, что нашел корреляцию между недочетами процесса рэндомизации и
положительными результатами, но и анализ, проведенный Хонортоном, и два других анализа,
проведенных непарапсихологами, оспаривают его вывод (Harris & Rosental, 1988; Saunders, 1985). Более
того, 11 новых исследований, спроектированных для контроля недочетов, выявленных в
первоначальной базе данных, принесли результаты, согласующиеся с результатами для
первоначального набора из 28 экспериментов (Bem & Honorton, 1994).
Проблема полочных исследований. Предположим, что каждый из 20 исследователей
независимо решил провести исследование по методике пустого поля. Даже если и не наблюдалось
подлинного ганцфельд-эффекта, существует немалая вероятность того, что как минимум один из этих
20 исследователей чисто случайно получит статистически значимый результат. Этот счастливый
исследователь опубликует отчет об эксперименте, но остальные 19, получившие все нулевые
результаты, скорее всего, разочаруются, положат свои данные на полку и займутся чем-нибудь более
перспективным. В результате научное сообщество узнает об одном успешном исследовании, но ничего
не узнает о 19 нулевых исследованиях, похороненных на полках. База данных, составленная по
