Большинство людей ничего не смыслят в статистике

Содержание
  1. Никакого чувства масштаба — ни в большую, ни в меньшую сторону
  2. Базовые частоты
  3. Среднее против медианы
  4. Статистические категории — это не люди
  5. Корреляция, малые выборки и подтасованные графики
  6. Регрессия к среднему
  7. Парадокс Симпсона
  8. Ошибка прокурора
  9. Погрешность
  10. Ошибка игрока
  11. Почему это важно

Мы живём в мире, которым управляют числа. Медицина, экономика, преступность, выборы, государственная политика: почти каждое важное утверждение — статистическое. И большинство людей понятия не имеют, как его читать. Не смутное понятие, не грубая интуиция. Никакого понятия. Вот в чём они ошибаются снова и снова.

Никакого чувства масштаба — ни в большую, ни в меньшую сторону

Люди не ощущают разницы между одним шансом из десяти тысяч и одним из миллиона. Все крошечные числа сливаются в «такое может случиться». Огромные числа сливаются точно так же: миллион и миллиард звучат как примерно одна и та же куча денег. Это не так. Миллион секунд — это меньше 12 дней. Миллиард секунд — почти 32 года.

Именно это эксплуатируют заголовки с относительным риском. «Удваивает риск рака!» звучит устрашающе. А потом выясняется, что риск вырос с одного на миллион до двух на миллион. Относительное изменение — 100%. Абсолютное — практически ноль. Самый полезный вопрос, который можно задать о любом пугающем числе: из скольких? Почти никто его не задаёт.

Базовые частоты

Вот классический пример. Болезнь поражает 1 человека из 1000. Тест на неё точен на 99%. Ваш результат положительный. Каковы шансы, что вы больны?

Большинство людей отвечает: 99%. Большинство врачей тоже ошибается. Правильный ответ — около 9%. Протестируйте 100 000 человек: 100 больны, и 99 из них получат положительный результат. Но из 99 900 здоровых 1% тоже получит положительный результат — это 999 ложных тревог. Так что из примерно 1100 положительных результатов настоящих лишь 99.

Когда что-то редко, даже очень хороший тест ловит в основном ложноположительные результаты. Игнорировать то, насколько распространено явление изначально, — одна из самых дорогостоящих ошибок, которые совершают люди: в медицине, в досмотре на безопасность и в суде.

Среднее против медианы

Бо́льшая часть публики не отличает среднее от медианы, и политики это обожают. «Средний доход вырос» может быть правдой, даже если большинство людей обеднело. Поместите миллиардера в комнату со ста заводскими рабочими — и средний человек в этой комнате окажется мультимиллионером. Медиана, человек посередине, не изменилась вовсе.

Всякий раз, когда распределение перекошено — а доходы, богатство, цены на жильё и длительность пребывания в больнице перекошены все, — среднее рассказывает вам о выбросах, а медиана — о типичном человеке. Тот, кто выбирает, какое из них сообщить, выбирает историю.

Статистические категории — это не люди

Томас Соуэлл указывает на вещь, которую почти никто не понимает. «Богатые стали богаче, а бедные — беднее» сравнивает группы, например верхние 20% и нижние 20%. Но группы — это не люди. Люди всё время в них входят и из них выходят.

Значительная часть нижней пятой — молодые работники в начале карьеры. Через десять лет многие из них поднялись выше, а их место заняли новые молодые работники. Поэтому «нижние 20% не разбогатели за десятилетие» может быть правдой, хотя большинство реальных людей, которые в них состояли, сильно разбогатели. Группа осталась бедной. Люди — нет. Смешение статистической категории с живыми людьми из плоти и крови порождает одни из худших экономических аргументов, какие только бывают.

Корреляция, малые выборки и подтасованные графики

То, что две вещи меняются вместе, не значит, что одна вызывает другую. Продажи мороженого и число утонувших летом растут одновременно; мороженое никого не топит. Добавьте крошечные выборки («исследование 20 человек показало…») и графики, ось которых начинается там, где линия выглядит драматичнее всего, — и вы получите бо́льшую часть того, что сходит за доказательства в социальных сетях.

Регрессия к среднему

Везде, где есть случайность, за крайними результатами обычно следуют более заурядные. Вот и всё. Никакой причины не нужно. Но люди всегда находят причину. На перекрёстке ставят камеры контроля скорости сразу после ужасного года аварий. На следующий год аварий становится меньше — как и было бы в любом случае, — и заслугу приписывают камерам. Команда увольняет тренера после провального сезона, следующий сезон получается лучше, и новый тренер — гений. Половина того, что называют «политика сработала», — именно это.

Парадокс Симпсона

Тенденция может проявляться в каждой подгруппе и переворачиваться при их объединении. Знаменитый случай — приём в Беркли в 1973 году. В целом мужчин принимали чаще, чем женщин, и это выглядело как очевидная дискриминация. Однако по каждому факультету в отдельности женщины показывали такие же или лучшие результаты. Просто они чаще подавали документы на конкурсные факультеты, отклонявшие большинство абитуриентов. Совокупное число рассказывало историю, противоположную реальной.

Ошибка прокурора

«Есть лишь один шанс на миллион, что невиновный человек совпадёт с этой ДНК» слышится как «есть лишь один шанс на миллион, что он невиновен». Это совершенно разные утверждения. В стране с населением 10 миллионов следует ожидать около 10 невиновных совпадений. Без других доказательств одно лишь совпадение делает его одним примерно из 11 подозреваемых, а не почти наверняка виновным. Люди отправлялись в тюрьму из-за этой путаницы.

Погрешность

Кандидат поднимается в опросе с 48% до 50%, и новости называют это импульсом. При типичной погрешности около 3 пунктов это изменение — шум. Люди считают каждое колебание историей, и СМИ с радостью им её продают.

Ошибка игрока

После пяти красных подряд люди ставят на чёрное, потому что оно «должно» выпасть. У рулетки нет памяти. Как нет её у монеты, у игральной кости и у генетики семьи, которая всё пытается родить мальчика. Независимые события не ведут счёт, но люди настаивают, что должны.

Почему это важно

Это не мелочи для викторины. Избирателей просят судить о политике, которая по сути состоит из статистических утверждений: о преступности, здоровье, неравенстве, экономике. Публике, которая не отличает среднее от медианы или относительный риск от абсолютного, можно с невозмутимым видом сказать почти что угодно — и ей говорят.

Тем временем школы натаскивают учеников в математическом анализе, которым большинство из них больше никогда не воспользуется, и почти не учат статистике, которая понадобится им всякий раз, когда они читают заголовок, идут к врачу или заседают в суде присяжных. Если бы мы учили людей спрашивать «из скольких?», «по сравнению с чем?» и «какова базовая частота?», у нас было бы население, которое куда труднее обмануть. Сейчас у нас население, которое обмануть очень легко.