אם קבוצות נבדלות, מנבא יבדיל ביניהן, ועיוורו רק מחמיר את המצב

לפני כמה שנים כתבתי מאמר קצר, בעברית, על הבחנה בין שחורים ולבנים בארצות הברית על ידי תוכנה. הטיעון היה בלתי פופולרי אז ואני מצפה שהוא בלתי פופולרי גם עכשיו, אז אנסח אותו בזהירות ככל יכולתי, מפני שהגרסה הזהירה היא היחידה שראוי להגן עליה.

אם שתי קבוצות נבדלות סטטיסטית במאפיין כלשהו שחשוב להכרעה, אז כל מנבא שהוא טוב במידה כלשהי יטפל בחברי שתי הקבוצות באופן שונה, ומנבא שנאסר עליו לעשות זאת יהיה גרוע יותר בעבודתו. זו אינה טענה על אתיקה של תוכנה. זו אריתמטיקה, ולאריתמטיקה לא אכפת מה אנחנו חושבים עליה.

ההצבה

קחו כל הכרעה הנעשית על ידי ניבוי: מי מקבל הלוואה, מי משוחרר בערבות, מי מסומן בשדה התעופה, של מי קורות החיים נקראים. מקבל ההחלטה רוצה להעריך משהו על יחיד, החזר, חזרה לפשע, איום, כשירות, ויש לו רק מידע חלקי.

עכשיו נניח ששתי קבוצות נבדלות בשיעור הבסיס של הדבר המנובא. לא חשוב מדוע. זו יכולה להיות היסטוריה, זה יכול להיות עוני, אלה יכולים להיות מאה דברים שאינם באשמת איש. ההבדל קיים בנתונים.

מנבא שיודע את הקבוצה ישתמש בה, מפני שהיא מידע, ומידע משפר ניבוי. לזה מנבא נועד. הוא יפיק לפיכך תוצאות שונות לשתי הקבוצות, בממוצע, ומישהו יקרא לזה הבחנה, והוא יצדק, במובן הפשוט של המילה.

מהלך העיוורון

התרופה הסטנדרטית היא להסיר את משתנה הקבוצה. אל תגידו למודל את הגזע, את המין, את המיקוד.

זה נכשל פעמיים.

זה נכשל ראשית מפני שהקבוצה מקודדת בכל דבר אחר. שם, כתובת, בית ספר, היסטוריה תעסוקתית, החנויות שאתם משתמשים בהן: כל אחד נושא שבריר מהאות, ומודל הגון משחזר את הקבוצה מהשברים בלי שנאמר לו מעולם. לא הסרתם את המידע; הסתרתם אותו מעצמכם בעוד המודל עדיין מחזיק בו.

זה נכשל שנית, וביסודיות רבה יותר, גם אילו העיוורון היה מושלם. מנבא שאינו יכול להשתמש בהבדל אמיתי עושה יותר שגיאות. והשגיאות אינן נופלות באופן שווה. כשכופים סף יחיד על שתי אוכלוסיות עם שיעורי בסיס שונים, קבוצה אחת מקבלת יותר חיוביים כוזבים והאחרת יותר שליליים כוזבים משהיו מקבלות תחת מנבא שידע. המנבא העיוור אינו הוגן. הוא בלתי הוגן בתבנית אחרת, ופחות מדויק בנוסף.

אינכם יכולים לגרום להבדל בנתונים להיעלם על ידי סירוב להתבונן בו. אתם יכולים רק לבחור איזה שגיאות תעדיפו לעשות.

הבלבול שמקשה לדון בזה

רוב החום בוויכוח הזה מגיע מערבוב שתי שאלות.

הראשונה היא שאלה על קבוצות: האם הן נבדלות, והאם מנבא שיודע זאת מתפקד אחרת עליהן? לשאלה הזאת יש תשובה בנתונים, והתשובה היא לעיתים קרובות כן.

השנייה היא שאלה על יחידים: מה צריך לקרות לאדם מסוים השייך לקבוצה עם סטטיסטיקה לא נוחה? השאלה הזאת אינה נענית על ידי הנתונים כלל. שיעור בסיס אומר לכם על אוכלוסייה. הוא אומר לכם כמעט דבר על האדם שלפניכם, שיכול להיות בכל מקום בהתפלגות.

כתבתי על כך שתווית שימושית רק מפני שהיא נושאת מידע. הצד השני הוא שהמידע שתווית נושאת הוא סטטיסטי, והתייחסות לעובדה סטטיסטית כאל עובדה על יחיד היא השגיאה האמיתית. המנבא אינו שוגה בכך שהוא מבחין בהבדל. מקבל ההחלטה שוגה בכך שהוא מפסיק להבחין שם.

היכן הבחירה האמיתית שוכנת

אז השאלה הכנה אינה האם להרשות להבדל להיכנס למודל. הוא כבר שם ולא ילך. השאלה הכנה היא מה חברה רוצה לעשות בניבויים על יחידים שמעוצבים על ידי עובדות על קבוצות.

זו שאלה פוליטית ויש לה כמה תשובות שניתן להגן עליהן.

אחת היא לקבל את הניבוי ואת תוצאותיו הבלתי שוות, בטענה שדיוק מציל את המספר הרב ביותר של אנשים בסך הכול. ערבות המוכרעת על ידי המנבא הטוב ביותר הזמין משאירה בפנים יותר אנשים מסוכנים ומשחררת יותר אנשים בלתי מזיקים מכל חלופה, והחלופה היא תחושת הבטן של שופט, שגם היא מנבא, וגרוע יותר.

אחרת היא להחליט שהכרעות מסוימות לא ייעשו כלל על ידי ניבוי, ולא חשוב המחיר בדיוק, מפני שהנזק של להישפט לפי הקבוצה שלך הוא נזק שלא נטיל בתחום ההוא. זו עמדה קוהרנטית. יש לה מחיר, ויש לומר את המחיר: יותר הלוואות רעות, יותר שחרורים שגויים, יותר איומים שהוחמצו, או כל שגיאה שהתחום מפיק.

שלישית היא להשתמש בניבוי ואז לתקן את התפלגות השגיאות במכוון, בשלב ההחלטה ולא בתוך המודל, כך שהפשרה גלויה ומוצבעת ולא חבויה בסף.

מה שאין להגן עליו הוא העמדה השולטת בשיחה הציבורית: שמנבא הוגן קיים, שהוא לא היה מראה הבדל בין קבוצות, ושכל מי שהמודל שלו מראה כזה בנה אותו רע. אין מנבא כזה. הדרישה לו מפיקה או שקר על המודל או מודל גרוע יותר, ובדרך כלל את שניהם.

מדוע זה חשוב מעבר לתוכנה

התוכנה הפכה את הבעיה לגלויה מפני שתוכנה חייבת לרשום את הכלל. פקיד הלוואות שהבחין היה לו רגש; מודל ניקוד יש לו מקדם, ואת המקדם אפשר לקרוא. התוצאה היא שאנחנו מתווכחים עכשיו על דבר שבני אדם עשו תמיד, בסביבה הראשונה שבה אפשר בפועל למדוד אותו.

זו הזדמנות. בפעם הראשונה אנחנו יכולים לראות את הפשרה במדויק: כך וכך דיוק תמורת כך וכך תוצאה בלתי שווה, בתחום הזה, בסף הזה. יכולנו להכריע בה בגלוי. במקום זאת השיחה מתעקשת שהפשרה היא תוצר לוואי של הנדסה גרועה, ודורשת שמהנדסים יגרמו לה להיעלם.

הם אינם יכולים. איש אינו יכול. ההבדל נמצא בעולם, המנבא מדווח עליו, והשאלה היחידה שנותרה היא שלנו: מה נעשה לאדם שלפנינו, בידיעת מה שהסטטיסטיקה אומרת ובידיעת מה שאינה יכולה לומר. זו שאלה שחברה צריכה לענות עליה, והיה קל בהרבה לענות עליה אילו הפסקנו להתחזה לכך שהיא באג.