הבנה היא דחיסה

הנה הגדרה שאני חושב שהיא נכונה בדיוק, והופכת מושג מעורפל למדיד: ידע הוא דחיסת מידע. להבין משהו פירושו להיות מסוגל לומר אותו קצר יותר.

זו אינה מטפורה. היא נותנת לכם מספר.

הסדרה

בהינתן 1, 4, 9, מה הבא בתור?

אתם אומרים 16. אבל גם 7− ניתן להגנה: יש פולינום שמייצר 1, 4, 9, 7−, והוא פונקציה לגיטימית לחלוטין. אינסוף פונקציות עוברות דרך כל קבוצה סופית של נקודות.

אז מדוע 16 טוב יותר? מפני שהנוסחה שלו קצרה יותר. n² מול פולינום ממעלה רביעית עם מקדמים מסורבלים. שום דבר אחר אינו מבחין ביניהם — לא ראיות, שכן שניהם מתאימים לנתונים בדיוק. כל ההעדפה היא דחיסה.

תלמי, ניוטון, איינשטיין

אותו קריטריון ממיין את ההיסטוריה של האסטרונומיה, ועושה זאת נקי יותר מכל סיפור על ראיות.

שיטתו של תלמי עבדה. היא חזתה מיקומי כוכבי לכת בדיוק ממשי, ועשתה זאת באפיציקלים — מעגלים על מעגלים, מכוילים אחד-אחד. אבל לא היה לו הסבר מדוע מאדים זקוק לאפיציקל המסוים שלו ונפטון לאחר. כל אחד היה קביעה נפרדת, מותאמת לאותו כוכב.

ניוטון הסביר את כל מה שתלמי הסביר, בעזרת חוקים שנכנסים לכרטיס, ללא התאמות לכל כוכב.

דמיינו קו שנמתח מתיאור תופעות להבנתן. רישום מיקומי כוכבי לכת בטבלה הוא תיאור טהור — אורך מקסימלי, אפס דחיסה. חוקי ניוטון יושבים בקצה הרחוק: כיסוי עצום מכמעט כלום. תלמי יושב באמצע. הוא ראה שיש מחזורים, וזו דחיסה אמיתית, אבל שילם על החריגים אחד-אחד.

מקרה המבחן. ניוטון לא חזה למעשה כל מסלול נכונה — נקיפת הפריהליון של כוכב חמה הייתה שגויה. אז שקלו את "ניוטון פלוס": חוקי ניוטון עם חריג מיוחד שהוטלא עבור כוכב חמה.

ניוטון פלוס מסביר הכול. האם זו תיאוריה טובה יותר?

לא — ועכשיו אתם יכולים לומר בדיוק מדוע. היא מכסה יותר אך דוחסת גרוע יותר: כתיבתה דורשת את החוקים ועוד החריג. זהו המחיר של טענה מיוחדת, מכומת. איינשטיין אז ניצח את ניוטון באותו אופן שניוטון ניצח את תלמי: חוקים פשוטים יותר, כל מה שניוטון הסביר, ועוד כוכב חמה, ועוד תחזיות שאיש לא ביקש.

מדוע זה אינו רק תער אוקאם

אוקאם אומר שההסבר הפשוט ביותר נוטה להיות הנכון, בהינתן שאר התנאים שווים. זו היוריסטיקה והיא מעורפלת לשמצה — פשוט באיזה מובן? נמדד כיצד?

הדחיסה נותנת לכם את החלק החסר. אתם יכולים לשאול כמה נתונים תיאוריה מכסה וכמה סיביות דרושות לניסוחה, ולהשוות שתי תיאוריות ביחס הזה. "פשוט יותר" חדל להיות שיפוט אסתטי והופך לאריתמטי.

זה גם מסביר מדוע אוקאם עובד, מה שאוקאם אינו עושה. תיאוריה שדוחסת היטב מצאה מבנה אמיתי בנתונים, מפני שזו הדחיסה. תיאוריה שדוחסת גרוע מאחסנת את הנתונים במקום להסביר אותם.

האישוש מלמידת מכונה

מקודד אוטומטי לוקח קלט, סוחט אותו דרך שכבה צרה, ומשחזר אותו. השכבה הצרה מכריחה אותו להשליך כל מה שאינו דרוש לשחזור — כלומר עליו למצוא ממה הנתונים באמת מורכבים.

שפה אנושית רדונדנטית עצומות: מילות קישור, סימני התאם, הברות שאינן נושאות מידע. מה שמקודד אוטומטי שאומן על משפטים חייב למצוא הוא המשמעות, מפני שהמשמעות היא בדיוק מה ששורד דחיסה מקסימלית.

ולכן תרגום מכונה עובד כפי שהוא עובד: לקודד את המשפט לייצוג דחוס, ואז לפענח לשפה האחרת. הייצוג הדחוס הוא המשמעות. איש לא תכנן זאת כך מטעמים פילוסופיים; זה מה שעבד.

ששני קווים נפרדים לחלוטין — הפילוסופיה של ההסבר המדעי והנדסת רשתות נוירונים — מגיעים לאותו זיהוי נראה לי הראיה החזקה ביותר לכך שהזיהוי נכון.

הבנה היא דחיסה.