Кризис воспроизводимости в психологии – так ли всё плохо?

лрепликации. кризис вопроизводимости. психология. кризис. кризис в психологии. кризис репликации. Психология – это наука. Многим этот тезис не нравится, ведь точность психологии далека от классической механики (она же – ньютоновская).

И не важно, что законы Ньютона работают далеко не всегда – например, для объектов, размером с атом нужна квантовая механика. Важно, что ньютоновская механика проста, понятна, наглядна и убийственно точна. Следовательно, это наука.

Психология не такая, следовательно, она не наука.

Одного этого тезиса, кажется, достаточно, чтобы окончательно доказать мне, что психология не наука. Но для полного уничтожения обычно мне сообщают, что в психологии воспроизвести удаётся меньше половины исследований. Следовательно, это воообще не наука.

О том, почему психология всё-таки наука, я рассказывал в статье «Почему психология наука: ликбез за пять минут», а здесь хочу поговорить о теме с трудностями воспроизведения психологических исследований (это так называемый «кризис воспроизводимости»).

Воспроизведи это!

Начну с базы – наука построена на поисках закономерностей, причём универсальных, действующих везде, где есть соответствующие условия. Скажем, объект всегда будет отбрасывать тень, если на него посветить. Значит перед нами – закономерность.

И если учёные в одной лаборатории провели опыт и докладывают, что открыли какую-либо закономерность (скажем, новый физический закон), то это нужно проверить. Иначе у нас не закон, а что-то подозрительное.

Проверка – это и есть воспроизведение. Если опыт не воспроизводится в других лабораториях, значит, его результаты – в лучшем случае ошибка. В худшем – сознательный мухлёж.

Поэтому воспроизводимость исследований важна критично. Можно сказать, что воспроизводимость – это плоть и кровь науки.
И вот тут нас ждёт неприятная новость. С воспроизводимостью есть изрядные проблемы.

Вот, например, опрос 2016 года, проведённый журналом «Nature» [1]. Из 1576 участников 70% хотя бы раз не смогли воспроизвести результаты чужих исследований.

И – держитесь за поручни – половина не смогла воспроизвести собственные же эксперименты.

Думаете, в опросе участвовали одни психологи? Нет. Там было 703 биолога, 106 химиков, 236 физиков и инженеров, 203 медика и так далее.

И проблемы были у каждой науки.

Почему так? Потому что для современного учёного важнее всего опубликоваться. А редакторы в основном принимают статьи об открытиях, а не о «закрытиях». Из-за этого учёные не сильно налегают на перепроверки и дизайн исследований. Получилось один раз – и ладно. Как сказано в этой статье: «конкуренция за гранты и должности и растущее бремя бюрократии отнимает время от проведения и проектирования исследований».

Это не единичное исследование. Ещё в 2005 году Джон Иоаннидис опубликовал статью «Почему большинство опубликованных результатов исследований являются ложными» [2]. В ней он подробно объясняет, как учёный, даже добросовестный, может ошибиться с результатами исследований и опубликовать ложные, по сути, данные.

Другой пример – из нейробиологии. Сейчас исследования мозга на коне, и это правильно – нам нужно понимать, как именно работает самое важное устройство нашего организма. Однако несовершенство методов исследований приводит к изрядным заблуждениям – недавно выяснилось, что многие исследования с нейровизуализацией, которые считались воспроизведёнными, совсем таковыми не являются – из-за неправильной обработки данных [3].

Так что проблемы с воспроизведением есть у всех отраслей науки. Психология здесь просто одна из многих.

Красота сложности

При этом надо учитывать важный момент: психология работает с очень сложной системой – с человеком. А это означает, что нужно учитывать просто невероятное количество переменных, которые, во-первых, не всегда заметны, а во-вторых, связаны не всегда понятными отношениями.

Вот яркий пример на эту тему. Ещё в прошлом веке Фриц Штрак сотоварищи установили, что между мимикой и настроением есть обратная связь – наша мимика влияет на наше настроение и наоборот. Если человек держал ручку зубами, растягивая губы (похоже на улыбку), то настроение его улучшалось. А если держал губами (словно бы насупился), настроение ухудшалось [4].

Когда это исследование начали воспроизводить уже в 21 столетии, оказалось, что никакого эффекта обратной связи лица нет. Хоть зубами ручку держи, хоть губами, хоть в ноздрю засунь – ничего.

Стало быть, исследование немцев – пустышка? Не торопитесь с выводами

Израильские психологи заинтересовались этим противоречием, как следует всё изучили, и установили неожиданное – оказывается, всему виной видеокамера.

Эксперимент с ручкой во рту отлично воспроизводится, если перед человеком нет видеокамеры и так же отлично не воспроизводится, когда камера есть [5].

Как видите, всего одна маленькая деталь, которую даже могли не заметить – и результат кардинально меняется.

Из-за этого требования к воспроизведению психологических исследований особенно строгие – важно повторить процедуру максимально точно, иначе вместо воспроизведения получится совершенно новое исследование. Это тоже интересно, но задача, всё-таки, другая.

Давайте сделаем всё идеально

Первоначальное исследование по воспроизводимости, которое инициировал центр «Открытая наука», дало около 40% положительных результатов [6]. Это, разумеется, не всем понравилось, поэтому это исследование стали критиковать.

 А поскольку оно было большим, но не идеальным, критиковать было относительно легко. А местами – и справедливо.

Поэтому было проведено новое исследование – Many Labs 2. Здесь учёные попытались воспроизвести 28 исследований, повторяя первоначальные условия максимально точно [7].

Причём исследователи взяли более жёсткие условия для демонстрации наличия эффекта. Обычно выставляют уровень «p < .05», то есть, очень огрубляя, пять попыток из ста могут дать положительный результат просто случайно.

А в проекте Many Labs 2 выставили уровень «p < .0001». То есть, только один из десяти тысяч случаев может случайно дать хороший результат. Это очень высокие требования (и это правильно).

При таких раскладах удалось воспроизвести 14 исследований – ровно половину.

Это означает, что первое исследование «Открытой науки» было более-менее точным. И это означает, что примерно половина исследований в психологии выполнены плохо – с низким уровнем «p», с небольшими выборками, небрежно и так далее.

Всё это совершенно недопустимо и проекты по воспроизводимости сделали очень важную работу.

И, кстати, сказать, таковая работа показывает, что психология является наукой, потому что только в науке есть встроенный механизм самоулучшения. Психологи сами задумались о достоверности результатов, сами перепроверили их и сами показали пробелы и трудности в исследованиях. Всё по науке.

Рассвет не за горами

Как вы понимаете, провести даже большие проекты – это полдела. Важно ещё и исправить ситуацию.

И её исправляют.

Появилось несколько дополнительных принципов, которые соблюдают современные исследователи (и в психологии, и в других науках).

1. Полное раскрытие методов и данных. Все результаты своих исследований, анкеты, отчёты, инструкции, статистику, формулы – всё это исследователи загружают на специальный сайт «Открытая научная база», и всегда можно взять их данные и перепроверить.

2. Предварительная регистрация исследований. Прежде чем начать исследование, учёные выкладывают свою гипотезу и общий дизайн исследования на специальные сайты (например, сюда). Соответственно, в этом случае отсекаются манипуляции с выборкой или подгонкой гипотезы под результат. Нетушки – раз уж хотели проверить влияние зелёного цвета обоев на память, вот это и проверяйте, не надо виться ужом, вытаскивая положительные результаты из плохих данных.

3. Публикация отрицательных результатов. Раньше научные журналы старались принимать только статьи об открытиях, а вот «закрытия» их не интересовали. А поскольку публикация для учёного, это, в конечном итоге, возможность и дальше делать свою работу, каждый старался найти пусть завалящее, но открытие. Ну и, конечно, находил. Между тем, отрицательный результат в науке очень важен – он показывает ошибки в гипотезе, в эксперименте, в направлении исследований. Если учёные знают об отрицательных результатах коллег, они экономят уйму сил и средств, не повторяя то, что уже проверено и отброшено. Это дорогого стоит.

4. Тиражирование. Просто так провести эксперимент и радоваться результатам нельзя. Нужно проверить воспроизводимость ещё до публикации. Идеально – в другой стране. Ведь если найдена закономерность, она проявит себя везде (или выяснится, что закономерность культурно-специфическая, что тоже очень важно). В итоге усиливается общение учёных из разных стран.

5. Улучшение владения статистическими методами. Учёные подтягивают свои навыки и знания матстатистики, относятся к вычислениям внимательно и не хватаются за первый же положительный результат, а проверяют его разным методами.

В итоге – достоверность растёт.

Конечно, до идеала ещё далеко, но проделанная работа впечатляет.

Всё это означает лишь одно – психология, как и всякая наука, столкнулась с трудностями и, как и всякая наука, успешно их преодолела, став лучше.

А у меня всё, спасибо за внимание.

Кстати, если хотите больше знать о том, как психология помогает улучшить жизнь, рекомендую изучить вот эти материалы.

В продолжение темы рекомендую мои статьи “Доказательная психология: давайте уже серьёзно” и “Нейрокогнитивное переобучение: вот чем я занимаюсь на самом деле”

Источники
1. https://www.nature.com/news/1-500-scientists-lift-the-lid-on-reproducibility-1.19970
2. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC1182327/
3. https://www.biorxiv.org/content/10.1101/514521v1
4. https://psycnet.apa.org/record/1988-25514-001
5. http://psycnet.apa.org/record/2018-16714-001
6. http://science.sciencemag.org/content/349/6251/aac4716
7. https://www.psychologicalscience.org/redesign/wp-content/uploads/2018/11/ManyLabs2.pdf

На главную

Кризис воспроизводимости в психологии – так ли всё плохо?: 10 комментариев

  1. Алекс

    Павел, спасибо за статью.
    Вопрос в сторону, что можно сделать с “залипанием”? Как вовремя остановиться?
    Как работу оставлять на работе, а не засиживаться до ночи, или работать дома в выходные (ну потому что ж хочется доделать, тут ведь осталось всего ничего)
    И так постоянно. Тут чуточку, тут капельку, и уже виднеется рассвет…
    Это не с подачи руководства, личное устремление, которое даже не окупается.
    Или книжка какая-то, вроде есть 15 минут, почитаю главу и хватит, а потом незаметно вторая-двадцатая, дворники встали, улицу метут…
    Или курс учебный, тут примерчик, здесь заданьеце, ночь прошла, пора обедать.
    Пробовал Помодоро, Максима Дорофеева, GTD, таймеры, будильники, разные менеджеры задач, награды, наказания.
    За годы и годы результат не достигнут, и даже не приблизился. Подозреваю, что может быть причастна дофаминергическая система.
    Как сдвинуться? Как переучиться? У вас есть рекомендованные материалы? В какую сторону искать, куда смотреть?
    Или самолечение бессильно, только личная работа в вашем кабинете?

    1. Павел Зыгмантович Автор записи

      Алекса, вот здесь мы про это очень много говорим – https://zygmantovich.com/products/willpower_merch/index.html

      Вкратце – нужно выучивать негативные результаты “залепания” и со временем образуется что-то вроде стопора, который будет вас останавливать.

  2. Виктор

    Забавный тезис! т.е. если другие ученые часто ошибаются и (или) их открытия недостоверны и не подтверждаются повторными исследованиями, то и психологию давайте оправдаем с ее размытыми контурами, отсутствием базисных констант (метр, кг, скорость света и т.п.) и четких взаимосвязей между оными. Я бы психологию отнес (нет, не на свалку))) к медицинско-социальной сфере. Нами управляют в значительной степени биохимические процессы (гормоны и пр.), а так же законы сообщества в котором мы взрастились.
    Все изложенное мною ненаучно и умозрительно))).
    ЗЫ. Есть не только законы Ньютона, которые имеют ограничение в применении. Хотелось бы узнать хотя бы об одном законе, открытом психологией, как науке, который действует на 100% всегда.
    И не вижу проблемы в том, что психология не наука. ну ок, не точная наука. В математике есть раздел теория вероятностей. там вообще все покрыто мраком))))

    1. Павел Зыгмантович Автор записи

      т.е. если другие ученые часто ошибаются и (или) их открытия недостоверны и не подтверждаются повторными исследованиями, то и психологию давайте оправдаем с ее размытыми контурами, отсутствием базисных констант (метр, кг, скорость света и т.п.) и четких взаимосвязей между оными.
      _Да, правильно. Потому что счастье базисных констант (например, килограмма) физика получила только в прошлом году (2018). До этого вместо реальной константы (типа постояной Планка) была условная – эталон. Но физикам так можно, а нам, психологам, нет. Двойные стандартны? 🙂

      Хотелось бы узнать хотя бы об одном законе, открытом психологией, как науке, который действует на 100% всегда.
      _Закон Йеркса-Додсона. Закон заполнения временного отрезка. И да – в физике тоже нет законов, которые действую на 100% всегда 🙂

  3. Татьяна

    Павел, благодарю за статью! Очень интересно и познавательно.
    Кажется, здесь опечатка в слове “свои”: “Улучшение владения статистическими методами. Учёные подтягивают свою навыки и знания матстатистики”.
    И здесь в ” случаев”: “То есть, только один из десяти тысяч случаем может случайно дать хороший результат”.

  4. Антон

    Здравтсвуйте, Павел! На данный момент, насколько я понимаю, пока не удалось этот кризис перейти. Интересует такой вопрос. Вот была относительно небольшая выборка статей, показали что воспроизводиться только 38%. Значит это плюс минус релевантно почти для всех статей по психологии? Как же быть с ними? Получается, надо все известные исследования проверить на воспроизводимость и, если дело в тонкостях дизайна, определить это влияние и акцентировать (как с видеокамерой и зубами), либо отвергнуть результаты, если они получены не добросовестно. И после этого по любому нужно делать коррекцию в теориях, в практических методах, учебниках, основанных на этих невоспроизводимых результатах. Как же это сделать? Ведь для этого надо хотя бы в 1,5 раза больше ресурсов времени. чем ушло на первоначальные исследования. Вообще как научное психологическое сообщество этот вопрос решать будет?

    1. Павел Зыгмантович Автор записи

      Добрый день, Антон!

      Все исследования повторять не нужно, ведь многие исследования — это изучение деталей других исследований. Если около трети исследований хорошие (а изучались основополагающие исследования), значит, можно предположить, что такая пропорция по всему множеству. Поэтому столько времени, сколько вы написали, не нужно.

      Что касается коррекции. Да, её делают там, где нужно. Это сделано не везде, разумеется. Несколько лет тому назад мне попалось исследование ВУЗовских учебников США. Без критических ошибок там оказалось что-то в районе 5%. Работе безусловно, предстоит большая, но вам факт такого исследования говорит, что проблему осознают и начинают решать.

      По мере сил и средств, всё будет исправлено. Процесс, безусловно, будет долгим, но неумолимым.

      Ответил ли я на ваш вопрос?

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *