Но как различить науку и лженауку? Почему астрономия — наука, а астрология нет? Ведь в обоих случаях речь о звёздах и созвездиях, и в обоих случаях так или иначе рассматривается их влияние на людей.
Почему нумерология — это лженаука, а математика — наука? Ведь в обоих случаях дело в числах и их значении для людей.
Короткий ответ такой — всё дело в нулевой гипотезе.
Наука там, где нулевая гипотеза используется. А лженаука возникает там, где о нулевой гипотезе не знают или не используют.
Что такое нулевая гипотеза?
Чтобы объяснить, я начну с примера.
Представьте себе, что я изучаю пищевое поведение человека. И вот однажды меня пригласили в гости —на ужин. Людей собралось много и хозяева выставили на стол самые разные тарелки.
И я заметил, что на белые тарелки гости накладывали больше еды. Как следствие — больше съедали.
Здесь у нас будет развилка. Давайте посмотрим, что будет если не использовать нулевую гипотезу и если использовать.
Без нулевой гипотезы я сразу поверю в своё наблюдение. Я напишу статью в блог, где срочно призову всех закупаться цветными тарелками, чтобы съедать меньше. Я начну везде продвигать эту идею. Моё наблюдение станет концепцией. Глядишь, и денег заработаю.
А что будет, если я знаю о нулевой гипотезе и использую её?
Начнётся долгое и нудное проектирование эксперимента, его проведение, статистическая обработка результатов и так далее.
Моё наблюдение будет оставаться таковым ещё очень долго и — не исключено! — так никогда и не превратится в концепцию.
Итак, что же такое нулевая гипотеза? Если формулировать очень кратко, звучит она так: «Ты ошибаешься, никакой разницы нет».
Если чуть развернуть, то нулевая гипотеза — это предположение об ошибочности моего наблюдения. Или, если хотите, это предположение об ошибочности всех других гипотез.
Проще говоря, нулевая гипотеза предполагает, что я ошибся и цвет тарелок ни на что не влияет.
В чём же польза нулевой гипотезы?
Нулевая гипотеза почти обязывает меня провести эксперимент. У меня есть наблюдение? Прекрасно — проверь его. Но не просто проверь, а проверь правильно. Сделай контрольную группу, сделай экспериментальную группу. Обеспечь достаточно репрезентативную выборку. Продумай альтернативные гипотезы и попробуй сразу исключить их.
Нулевая гипотеза не позволяет мне поверить в наблюдение. Она обязывает его проверить.
Следовательно, если вы хотите распознать лженауку, нужно спросить о нулевой гипотезе и доказательствах.
В случае нумерологии нулевая гипотеза такова — числа ничего не значат. И если нумерология — это наука, вам легко предоставят доказательства в пользу значения чисел.
Так же и с астрологией. Нулевая гипотеза — звёзды и созвездия ни на что не влияют. Если астрология — это наука, то вам тут же покажут доказательства в пользу влияния.
Но это не всё. Как раз здесь нужно быть ещё внимательнее. Доказательствами могут быть результаты исследований, но не примеры.
Когда вам говорят, мол, вот человек, которому числа или звёзды всё предсказали, это не доказательство. Это пи-хакинг. То есть взлом значения p.
Значение, которое так важно
В статистике есть понятие p-value. Люди, разбирающиеся в статистике, проклянут меня, но я рискну объяснить его предельно просто.
Огрубляя, можно сказать, что p-value — это показатель погрешности. Он говорит нам о вероятности случайного получения результатов. Чем меньше p-значение, тем ниже вероятность получения этого результата, если нулевая гипотеза верна.
Чтобы лучше понять, представьте себе, что мы изучаем влияние зрения на точность стрелков из лука. Нулевая гипотеза очевидна — зрение не влияет. Моя гипотеза — зрение влияет.
Мы проводим эксперимент, в котором один лучник стреляет с повязкой на глазах — это контрольная группа. Второй лучник всё видит — это группа экспериментальная. Каждый выпускает, скажем, тысячу стрел.
Внимание, вопрос — может ли лучник с повязкой на глазах попасть стрелой в мишень? Ответ — да, может.
Следующий вопрос — сколько раз? И вот здесь у нас появляется p-value. Мы устанавливаем вероятность случайного попадания, чтобы понять — в каком случае мы может отклонить нулевую гипотезу и считать, что результат экспериментальной группы достоен внимания, а в каком нет.
Раньше стандартом было значение 0,05. В случае с лучниками — пятьдесят стрел из тысячи могут попасть в цель совершенно случайно.
Однако в 2005 году американский учёный Джон Иоаннидис выпустил статью «Почему большинство опубликованных результатов исследований являются ложными» . В ней он доказывал, что такое значение p-value слишком щедрое. Из-за этого многие результаты исследований ложноположительные. То есть находят то, чего нет [1].
Статья вызвала большой переполох, нашлись защитники и противники, но в итоге p-value стали ужесточать. Я неоднократно встречал p-value размером в 0,001. То есть предполагается, что только одна из тысяч стрел лучника в повязке может попасть случайно.
И если он попадает, скажем, шесть раз из тысячи выстрелов, значит, мы не можем отклонить нулевую гипотезу. У нас нет достаточно доказательств против неё. Значит, зрение в стрельбе из лука не так уж важно.
Конечно, на примере стрельбы из лука это выглядит абсурдным, но это потому лишь, что я взял очень наглядную модель, где всё прозрачно и понятно. Когда у нас идёт серьёзное научное исследование, прозрачности нет и в помине.
Взлом и взломщики
P-value — сложная тема. Не все даже согласны, что этот критерий нужно использовать — уж больно много с ним ошибок. Возможно, я своим упрощением тоже всё испортил. Что ж, надеюсь, специалисты по статистике отнесутся ко мне снисходительно и не будут сильно меня ругать.
Для наших целей важно вот что. Человек, чьи результаты вам предъявляют как доказательство эффективности нумерологи или астрологии, может быть представителем тех самых 0,05.
Проще говоря, при любых раскладах хотя бы у кого-то хотя бы что-то сработает. Научное исследование как раз и позволяет понять — где случайность, а где закономерность.
А пи-хакинг — это манипулирование p-value. Самое простое — это посмотреть, куда улетела большая часть стрел и нарисовать мишень там. Это называется ошибкой техасского стрелка — мы сначала стреляем, потом рисуем мишень вокруг попадания. Удобно, но не честно.
В науке этому мешает пререгистрация эксперимента. Где указывают гипотезу, статистически аппарат, дизайн эксперимента и прочие нюансы. Чтобы нельзя было повернуть трюк техасского стрелка [2].
А в лженауке не мешает ничего. Всегда можно взять единичный случай и выдать его за закономерность.
Следовательно, чтобы не попасться в эту ловушку, нужно знать о полной выборке. Сколько людей получили свой гороскоп? У скольких сошлось? Что именно сошлось?
Можно и проще — достаточно узнать, скольким не помогло, не сошлось, не предсказало. Если таковых нет — стоит насторожиться, ведь не существует стопроцентного метода.
Чем наука отличается от лженауки?
Итак, нулевая гипотеза — это ключевое отличие науки от лженауки. Наука — система познания, в которой учитывается и компенсируется несовершенство человеческого мышления.
Под несовершенством я понимаю когнитивные искажения, невнимательность, предвзятость и всё в таком духе.
Научный метод выстраивается так, чтобы получить предельно объективные результаты исследований, несмотря на все препятствия.
Лженаука таким себя не утруждает. В лженауке как в системе нет понимания несовершенства человеческого мышления. Следовательно, нет и приёмов противодействия.
Из этого, кстати, легко увидеть, почему психология — наука. Возьмём известную историю с когнитивный диссонансом.
Есть гипотеза — столкновение двух противоречивых убеждения о себе вызывает у человека дискомфорт. Лженаука на этом остановилась бы — зачем напрягаться, всё уже найдено!
Но наука работает не так. В науке мы добавляем нулевую гипотезу — нет, столкновение противоречивых убеждений о себе ничего у человека не вызывает.
Затем мы проводим эксперимент — и получаем доказательства в пользу первой гипотезы.
Отсюда у нас появляется концепция когнитивного диссонанса. И отсюда мы видим, что психология — такая психология — это наука.
Одновременно мы видим и другое — что психологией может называться и научное знание и просто выдумки. Чтобы различить, спрашивайте о нулевой гипотезе и доказательствах против неё.
Кстати, хотите лучше разобраться в теме когнитивного диссонанса и увидеть, что вы понимали под ним совсем не то, чем он является? Тогда вот моя статья , тогда прошу сюда: «Когнитивный диссонанс: что это на самом деле».
Источники:
1. https://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.0020124
2. https://www.cos.io/initiatives/prereg
3. Про p-value — https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2816758/
4. Отличная книга «Что такое наука и как она работает» — https://vsenauka.ru/knigi/vsenauchnyie-knigi/book-details.html?id=2117
Здравствуйте, Павел!
Подскажите, пожалуйста, как разрешить следующий когнитивный диссонанс(или каким термином правильнее описать то, что будет ниже)
Люди возраста примерно 20-30 выглядят как подростки, манера общения, голос очень схожи со старшими подростками, часто проскакивает подростковая лень, часть увлечений очень схожи со старшими подростками, но при этом живут как взрослые, также рабствуют, женятся и даже рожают
В связи с этим непонятно, как воспринимать того, кто перед тобой, как подростка или взрослого, психика не хочет верить, что перед тобой взрослый
Спасибо!
Добрый день, Дмитрий.
Это замешательство.
Решается восприятием такого человека как взрослого с элементами подростковых признаков.
Спасибо большое за ответ!
На здоровье, Дмитрий!
Это лучшее, что я видела против лженауки. Реально!
это я как бывший адепт эзотерики и бывший астролог говорю. =)
Знаете, Павел, ваши статьи про доказательную психологию гораздо интереснее и вселяют больше надежды, чем всякая эзотерика. 🙂 После такой психологии магическую муть скучно читать. 🙂
А еще, глядя на некоторых знакомых и на себя в прошлом, думаю, что тяга к магическому мышлению – вовсе не из-за отсутствия логики или плохого знания естественных наук (часто там все нормально), а из-за сочетания друх факторов: 1) подозрением в собственной неполноценности (обычно в сфере любви или здоровья – у себя или родителей); 2) привычка к катастрофизации и тревожности. В таком состоянии человек правда готов на многое, лишь бы “добыть себе нормальную судьбу”. (Хотя, может, это только вокруг меня такая маленькая непоказательная выборка была, не знаю.)
Т.е. дело именно в психологии и в понимании, что общению с людьми и с собой надо учиться. Так что ваш сайт – это прям что надо! 🙂
Спасибо большое, очень приятно это читать!
Полностью с вами согласен в том, что магическое мышление не связано с отсутствием логики — так и есть.