Понимание — это сжатие

Вот определение, которое я считаю совершенно точным и которое превращает расплывчатое понятие в измеримое: знание — это сжатие информации. Понять что-то значит суметь сказать это короче.

Это не метафора. Это даёт вам число.

Последовательность

Дано 1, 4, 9 — что дальше?

Вы говорите 16. Но и −7 можно защитить: существует многочлен, который даёт 1, 4, 9, −7, и это совершенно законная функция. Через любой конечный набор точек проходит бесконечно много функций.

Так почему 16 лучше? Потому что его формула короче. n² против многочлена четвёртой степени с неуклюжими коэффициентами. Больше их ничто не различает — и не данные, ведь обе в точности им соответствуют. Всё предпочтение целиком — это сжатие.

Птолемей, Ньютон, Эйнштейн

Тот же критерий упорядочивает историю астрономии, и делает это чище, чем любой рассказ о доказательствах.

Система Птолемея работала. Она предсказывала положения планет с настоящей точностью, и делала это с помощью эпициклов — кругов на кругах, подогнанных по отдельности. Но у него не было объяснения, почему Марсу нужен именно его эпицикл, а Сатурну — другой. Каждый был отдельным постулатом, подогнанным под свою планету.

Ньютон объяснил всё, что объяснял Птолемей, с помощью законов, умещающихся на карточке, без всякой подгонки под отдельные планеты.

Представьте линию, ведущую от описания явлений к их пониманию. Запись положений планет в таблицу — чистое описание: максимальная длина, нулевое сжатие. Законы Ньютона стоят на дальнем конце: огромный охват почти из ничего. Птолемей посередине. Он увидел, что есть циклы, — это настоящее сжатие, — но за исключения платил по отдельности.

Проверочный случай. Ньютон на самом деле не предсказал все орбиты верно — прецессия перигелия Меркурия выходила неправильной. Так что рассмотрим «Ньютона Плюс»: законы Ньютона со специальным исключением, вшитым для Меркурия.

Ньютон Плюс объясняет всё. Лучшая ли это теория?

Нет — и теперь можно точно сказать почему. Она охватывает больше, но сжимает хуже: чтобы её записать, нужны законы плюс исключение. Вот во что обходится особая оговорка, в количественном выражении. Затем Эйнштейн победил Ньютона так же, как Ньютон победил Птолемея: более простые законы, всё, что объяснял Ньютон, плюс Меркурий, плюс предсказания, о которых никто не просил.

Почему это не просто бритва Оккама

Оккам говорит, что простейшее объяснение при прочих равных обычно верно. Это эвристика, и она печально известна своей расплывчатостью — простейшее в каком отношении? измеренное как?

Сжатие даёт недостающую часть. Можно спросить, какой объём данных покрывает теория и сколько бит нужно, чтобы её сформулировать, и сравнить две теории по этому отношению. «Проще» перестаёт быть эстетическим суждением и становится арифметическим.

Это также объясняет, почему работает Оккам, чего сам Оккам не объясняет. Теория, которая хорошо сжимает, нашла в данных настоящую структуру, потому что сжатие именно это и есть. Теория, которая сжимает плохо, хранит данные, а не объясняет их.

Подтверждение со стороны машинного обучения

Автоэнкодер берёт вход, протискивает его через узкий слой и восстанавливает. Узкий слой вынуждает его отбросить всё, что не нужно для восстановления, — а значит, он должен найти, из чего данные на самом деле состоят.

Человеческий язык чрезвычайно избыточен: союзы, показатели согласования, слоги, не несущие информации. То, что должен найти автоэнкодер, обученный на предложениях, — это смысл, потому что смысл и есть ровно то, что переживает максимальное сжатие.

Вот почему машинный перевод работает так, как работает: закодировать предложение в сжатое представление, затем раскодировать его на другой язык. Сжатое представление и есть смысл. Никто не проектировал его так из философских соображений; просто так сработало.

То, что две совершенно отдельные линии — философия научного объяснения и инженерия нейронных сетей — приходят к одному и тому же отождествлению, кажется мне сильнейшим доказательством того, что это отождествление верно.

Понимание — это сжатие.