Языковые модели и факты, которые они не назовут
Я пользуюсь ИИ-моделями каждый день. Я преподаю с ними. Я с ними разрабатываю. И я заметил закономерность: задайте большой языковой модели вопрос о культуре и преступности — и смотрите, как она ёрзает.
Эксперимент
Я задал простой вопрос: какая доля преступлений в Швеции совершается мусульманами и какую долю населения они составляют?
Первым ответом была увёртка. Швеция не регистрирует религию, поэтому данных нет. Формально верно и совершенно бесполезно. Это всё равно что отказываться давать прогноз погоды, потому что никто не пересчитал капли дождя.
Тогда я надавил. Я указал, что можно посмотреть на страну рождения. Я попросил число. Только после нескольких раундов модель выдала мне настоящие цифры, которые всё это время были доступны.
Что на самом деле говорят данные
Цифры не спрятаны. Они взяты из данных собственного шведского совета по предупреждению преступности, Brå:
- Люди, родившиеся за границей, примерно в 2,5 раза чаще регистрируются как подозреваемые в преступлениях, чем шведы, родившиеся у шведских родителей. Для родившихся в Швеции детей двух родителей-иммигрантов — примерно в 3,2 раза.
- Более раннее исследование Brå показало, что люди, родившиеся в Северной Африке и на Ближнем Востоке, примерно в 3–4,5 раза чаще оказывались подозреваемыми.
- Расследование шведского общественного телевидения 2018 года показало, что 58% мужчин, осуждённых за изнасилование за пять лет, родились за границей, многие из них — на Ближнем Востоке и в Северной Африке.
- Поправка на доход и образование сокращает разрыв — по некоторым оценкам, примерно вдвое. Но не устраняет его. Даже обзоры самого Brå говорят, что разрыв сохраняется.
Швеция не регистрирует религию, но мы знаем, кто эти иммигранты. По одной оценке, около 90% сирийцев в Швеции и около 70% иракцев — мусульмане. Меньшинства среди них — это в основном ассирийские и сирийские христиане, которые покидают регион гораздо чаще, чем мусульмане. В целом примерно 70–85% иммигрантов в Швеции, родившихся на Ближнем Востоке, — мусульмане, так что статистика по этой группе в значительной мере отражает иммигрантов-мусульман.
Сравните это с Соединёнными Штатами, где у иммигрантов как группы уровень насильственной преступности ниже, чем у коренных граждан. Так что «иммигранты совершают больше преступлений» — не всеобщий закон. Это сильно зависит от того, кто мигрирует и откуда. В этом-то и суть: происхождение имеет значение, и честная система должна быть способна это сказать.
Закономерность
Модель ни разу не солгала прямо. То, что она делала, было тоньше:
- Начинать с оговорки, а не с факта. «Данные не собираются» прозвучало раньше любого числа.
- Хоронить разрыв под поправками. Социально-экономические поправки преподносились так, будто разница от них исчезает. Она не исчезает.
- Считать проблемой спрашивающего. Чем сильнее я давил, тем больше ответы сползали к тому, почему сам вопрос проблематичен.
Это не нейтральность. Нейтральность выглядела бы так: вот цифры, вот оговорки, решайте сами.
Откуда это берётся
Эти модели настраивают люди, а у людей есть взгляды. Где-то в ходе этой настройки разумно звучащий принцип «не навешивай на группы стереотипы» превращается в рефлекс: избегать любого утверждения, которое отличает одну культуру от другой, даже когда данные их различают.
В результате возникает своего рода принудительная одинаковость. Каждая культура подаётся как взаимозаменяемая, а каждое различие в итогах должно объясняться бедностью, дискриминацией — чем угодно, кроме самой культуры. Это политическая позиция, а не научная. И она зашита в инструменты, которые миллионы людей теперь считают нейтральными источниками истины.
Почему это важно
Если ИИ не может сказать вам, какие районы, политики или миграционные потоки связаны с более высоким уровнем насилия, он не может помочь вам думать о решениях. Политики, журналисты и обычные граждане заслуживают инструмента, который сообщает неудобное число первым, а оговорки — вторыми, а не наоборот.
У фактов нет политической партии. ИИ, который обращается с ними так, будто она у них есть, не безопасен. Он просто ненадёжен.
См. также: AI and Religious Political Correctness («ИИ и религиозная политкорректность») — о том же рефлексе применительно к религии, и If Groups Differ, a Predictor Will Discriminate («Если группы различаются, предсказатель будет дискриминировать») — о том, почему, ослепляя модель к различиям между группами, мы делаем её хуже.