Витгенштейн для векторных представлений слов — то же, что алхимия для химии

Содержание
  1. В чём Витгенштейн был прав
  2. Где он опустил руки
  3. Люди, которые посчитали
  4. Каждая витгенштейновская тайна стала вычислением
  5. Почему это устаревание, а не просто прогресс
  6. Урок

Астрология не была глупостью. Те, кто ею занимался, заметили, что небо движется циклами, что циклы регулярны и что некоторые из них совпадают со сменой времён года, приливами и урожаем. Это настоящие наблюдения, и именно на них была построена астрономия. Алхимия тоже не была глупостью. Алхимики заметили, что вещества превращаются, что одни превращения можно обратить, а другие нет, что важны нагрев и смешение. Химия сохранила всё это. Астрономия и химия взяли эти наблюдения и дали им математику и экспериментальный метод, и когда это было сделано, старшей дисциплине больше нечего было сказать. Никто не консультируется с астрологом об орбите Марса.

Философия языка сегодня находится в том же положении по отношению к векторным представлениям слов, и Витгенштейн — её самый интересный алхимик.

В чём Витгенштейн был прав

В Philosophical Investigations («Философских исследованиях») Витгенштейн разрушил классическую картину, в которой слово — это метка, прикреплённая к фиксированной идее или платоновской сущности. На её место он поставил лозунг, который хорошо выдержал проверку временем: значение слова есть его употребление в языке. Слова получают значение из того, как они применяются в бесчисленных подчинённых правилам видах деятельности, которые он называл языковыми играми, — приказывать, описывать, шутить, угадывать, — и всё это укоренено в общих формах жизни. И категории естественного языка, заметил он, не имеют сущности. Нет свойства, общего всему, что мы называем игрой. Вместо этого есть перекрывающаяся сеть сходств, которую он назвал семейным сходством.

Это подлинное наблюдение, сопоставимое с наблюдением, что планеты блуждают на фоне неподвижных звёзд. Значение действительно происходит из употребления. Категории градуированы и расплывчаты. Тот, кто строит теорию значения, игнорируя эти факты, построит неверную.

Где он опустил руки

А затем Витгенштейн сделал то, что делали алхимики. Сделав наблюдение, он объявил его недоступным для систематического рассмотрения. Поскольку язык — открытое, изменчивое собрание игр, утверждал он, любая попытка построить объяснительную теорию значения — категориальная ошибка. Философия «в конечном счёте может лишь описывать» употребление языка. «Мы должны покончить со всяким объяснением, и только описание должно занять его место». Задача философии свелась к терапии: показать мухе выход из мухоловки, указав, что её метафизическая проблема — грамматическая путаница.

Это не скромная позиция. Это сильное эмпирическое утверждение — что феномен значения невозможно смоделировать, — переодетое в смирение. И оно было сделано из кресла человеком, который не собрал никаких данных, не провёл ни одного эксперимента и ничего не формализовал. Это в точности эпистемическая позиция астролога, который настаивает, что влияние Сатурна на темперамент слишком тонко для арифметики.

Люди, которые посчитали

Пока философы спорили об «употреблении» на семинарах, лингвисты иного склада сделали его измеримым. Зеллиг Харрис и Дж. Р. Ферт сформулировали дистрибутивную гипотезу: слово познаётся по компании, которую оно водит. Эта фраза похожа на лозунг Витгенштейна, но она делает то, от чего Витгенштейн отказался. Она говорит, что такое «употребление». Употребление — это статистическое распределение контекстов, в которых встречается слово, а распределение по достаточно большому корпусу — вещь, которую можно сосчитать.

Word2Vec, GloVe и их преемники превратили подсчёт в геометрию. Каждое слово стало плотным вектором в пространстве из нескольких сотен или нескольких тысяч измерений, и координаты никто не выбирал. Они были выучены оптимизацией задачи предсказания на миллиардах слов реального текста. Я отдельно писал о том, что такое эти векторы и почему им нужно так много измерений; здесь важно, что они сделали с философскими утверждениями.

Каждая витгенштейновская тайна стала вычислением

Семейное сходство должно было быть преградой для формализации. В векторном пространстве это режим по умолчанию. Понятие — это область, принадлежность к нему — расстояние, и «игра» находится рядом со «спортом», «соревнованием», «головоломкой» и «матчем» без всякой необходимости в сущности и без резкой границы где бы то ни было. То, что, по словам Витгенштейна, невозможно уловить определением, прекрасно улавливается метрикой. Он был прав, что определения не работают. Он ошибался, считая, что определения — единственная альтернатива.

Нерегулярность должна была делать язык непригодным для математики. Затем оказалось, что «король» минус «мужчина» плюс «женщина» оказывается рядом с «королевой», а «Париж» минус «Франция» плюс «Япония» — рядом с «Токио». Род, число, время, отношение «столица чего-либо», степень сравнения — всё это проявляется как приблизительно линейные смещения, которые никто туда не помещал. Философы веками анализировали аналогию как понятие. Это вычитание векторов.

Языковые игры, утверждение, что одно и то же слово означает разное в разных видах деятельности, были последним прибежищем. Статические векторные представления действительно давали одному слову один вектор, и критики об этом говорили. Контекстные модели сняли возражение: «bank» в «river bank» («берег реки») и «bank» в «investment bank» («инвестиционный банк») теперь получают разные векторы, вычисляемые вниманием (attention) по окружающим токенам. Местная игра, меняющая значение слова, — не тайна, которую нужно описывать. Это функция, которую вычисляют.

Почему это устаревание, а не просто прогресс

Было бы великодушно сказать, что векторные представления продолжают программу Витгенштейна. Это не так. Его программа состояла в том, что ничего подобного существовать не может. Поставьте их рядом. Метод: интроспекция собственных языковых интуиций — против статистического обучения на корпусах с объективной функцией потерь. Трактовка употребления: неизмеримый общественный обычай — против измеримого распределения вероятностей. Определения: непреодолимый барьер — против градуированных кластеров. Предсказательная сила: никакой — против результатов на тестах аналогий, сходства и классификации. Практический выход: растворённые семинарские парадоксы — против машинного перевода, поиска и каждого существующего диалогового агента.

Эту таблицу можно было бы составить для астрологии и астрономии в 1700 году. В одном столбце прозрение, в другом — наука, и как только второй столбец существует, первый становится историей идей.

У путаницы Витгенштейна, той самой, которую должна была вымести его терапия, была причина, которой он не мог увидеть. Она возникала из попытки анализировать многомерное статистическое явление маломерной прозой. Мухоловкой был сам естественный язык, используемый как инструмент анализа. Выходом была линейная алгебра, и найден он был не более тщательным описанием.

Урок

Я уже доказывал, что философия в её нынешней практике терпит неудачу, потому что никогда не фиксирует своих терминов. Философия языка — самый сильный из возможных примеров, потому что здесь у философии была правильная интуиция, и всё равно она ничего не произвела, тогда как инженеры с той же интуицией и функцией потерь за десятилетие создали работающую науку о значении. Значение есть употребление. Витгенштейн это сказал; Миколов это измерил. Разница между этими двумя глаголами — разница между алхимией и химией, и в изучении значения этот переход уже произошёл. Умозрительная философия языка исчерпала себя, уступив место инструментам, которые действительно работают.