Если группы различаются, предсказатель будет дискриминировать, а если его ослепить — станет хуже

Несколько лет назад я написал на иврите короткую статью о дискриминации чернокожих и белых американцев программным обеспечением. Довод был непопулярен тогда, и я ожидаю, что он непопулярен и сейчас, поэтому позвольте изложить его как можно аккуратнее: защищать стоит только аккуратную версию.

Если две группы статистически различаются по какому-то признаку, важному для решения, то любой мало-мальски хороший предсказатель будет обращаться с членами этих групп по-разному, а предсказатель, которому это запрещено, будет хуже справляться со своей работой. Это не утверждение об этике программного обеспечения. Это арифметика, а арифметике безразлично, что мы о ней думаем.

Постановка

Возьмите любое решение, принимаемое на основе прогноза: кому дать кредит, кого отпустить под залог, кого отметить в аэропорту, чьё резюме прочитать. Принимающий решение хочет оценить что-то относительно конкретного человека — возврат долга, рецидив, угрозу, компетентность, — а информация у него лишь частичная.

Теперь предположим, что две группы различаются по базовой частоте того, что предсказывается. Неважно почему. Это может быть история, может быть бедность, может быть сотня вещей, в которых никто не виноват. Разница существует в данных.

Предсказатель, которому известна группа, будет её использовать, потому что это информация, а информация улучшает прогноз. Для этого предсказатель и существует. Поэтому в среднем он будет давать для двух групп разные результаты, и кто-то назовёт это дискриминацией — и будет прав в прямом смысле слова.

Ход с ослеплением

Стандартное средство — убрать переменную группы. Не сообщать модели расу, пол, почтовый индекс.

Это проваливается дважды.

Во-первых, потому что группа закодирована во всём остальном. Имя, адрес, школа, трудовая история, магазины, в которые вы ходите, — каждое несёт часть сигнала, и приличная модель восстанавливает группу по этим фрагментам, даже если ей ничего не сообщали. Вы не удалили информацию; вы спрятали её от себя, а у модели она по-прежнему есть.

Во-вторых, и это более фундаментально, — даже если ослепление было бы идеальным. Предсказатель, который не может использовать реальную разницу, ошибается чаще. И ошибки распределяются неравномерно. Если навязать единый порог двум совокупностям с разными базовыми частотами, одна группа получит больше ложноположительных результатов, а другая — больше ложноотрицательных, чем при предсказателе, который знал бы. Слепой предсказатель не справедлив. Он несправедлив по-другому, да ещё и менее точен.

Нельзя заставить разницу в данных исчезнуть, отказываясь на неё смотреть. Можно только выбрать, какие ошибки вы предпочитаете совершать.

Путаница, из-за которой это трудно обсуждать

Бо́льшая часть накала в этом споре возникает оттого, что два вопроса смешивают в один.

Первый — вопрос о группах: различаются ли они и работает ли знающий об этом предсказатель на них по-разному? У этого вопроса есть ответ в данных, и ответ часто — да.

Второй — вопрос об индивидах: что должно происходить с конкретным человеком, принадлежащим к группе с неблагоприятной статистикой? На этот вопрос данные не отвечают вовсе. Базовая частота говорит о совокупности. О человеке перед вами она не говорит почти ничего: он может находиться где угодно в распределении.

Я писал о том, что ярлык полезен лишь потому, что несёт информацию. Обратная сторона в том, что информация, которую несёт ярлык, статистическая, и настоящая ошибка — принимать статистический факт за факт об индивиде. Предсказатель не виноват в том, что замечает разницу. Виноват принимающий решение, который на этом перестаёт замечать.

Где на самом деле находится выбор

Итак, честный вопрос не в том, допускать ли разницу в модель. Она уже там и никуда не уйдёт. Честный вопрос в том, что общество хочет делать с прогнозами об индивидах, которые формируются фактами о группах.

Это политический вопрос, и у него несколько защитимых ответов.

Первый — принять прогноз и его неравномерные результаты на том основании, что точность в целом спасает больше всего людей. Освобождение под залог, решаемое лучшим доступным предсказателем, удерживает больше опасных людей и отпускает больше безвредных, чем любая альтернатива, а альтернатива — чутьё судьи, которое тоже предсказатель, только худший.

Второй — решить, что определённые решения вообще не должны приниматься на основе прогноза, чего бы это ни стоило в точности, потому что вред от суждения о человеке по его группе — это вред, который мы в данной области причинять не станем. Это последовательная позиция. У неё есть цена, и эту цену следует назвать: больше плохих кредитов, больше ошибочных освобождений, больше пропущенных угроз — или какую там ошибку порождает данная область.

Третий — использовать прогноз, а затем сознательно корректировать распределение ошибок на этапе решения, а не внутри модели, чтобы компромисс был виден и по нему голосовали, а не прятали его в пороге.

Незащитима позиция, которая господствует в публичном разговоре: что справедливый предсказатель существует, что он не показал бы никакой разницы между группами и что всякий, чья модель её показывает, построил модель неправильно. Такого предсказателя нет. Требование его приводит либо ко лжи о модели, либо к худшей модели, а обычно — к тому и другому.

Почему это важно не только для программ

Программное обеспечение сделало проблему видимой, потому что программе нужно записать правило. У кредитного инспектора, который дискриминировал, было чувство; у скоринговой модели есть коэффициент, и его можно прочитать. В результате мы теперь спорим о том, что люди делали всегда, — впервые в обстановке, где это действительно можно измерить.

Это возможность. Впервые мы можем точно увидеть компромисс: столько-то точности за столько-то неравномерности результатов, в этой области, при этом пороге. Мы могли бы решать это открыто. Вместо этого разговор настаивает, что компромисс — артефакт плохой инженерии, и требует, чтобы инженеры от него избавились.

Они не могут. Никто не может. Разница существует в мире, предсказатель о ней сообщает, и остаётся лишь наш вопрос: что мы делаем с человеком перед нами, зная, что говорит статистика, и зная, чего она сказать не может. Это вопрос, на который должно ответить общество, и ответить было бы намного легче, если бы мы перестали делать вид, что это баг.