Векторные представления слов и произвольность знака
Друг, который строил что-то на платформе для ИИ-агентов, задал мне вопрос, который я с тех пор слышал от нескольких инженеров. Платформа позволяла ему выбирать между двумя моделями векторных представлений (эмбеддингов) от OpenAI: одна выдавала векторы из 3072 чисел, другая — из 1536. Почему, хотел он знать, слову нужны тысячи чисел? В ивритском слове «птица», ציפור, пять букв. Разве не хватило бы пятимерного пространства? А если нужно место для словоизменения — «птицы», «моя птица» и так далее, — может быть, ещё несколько?
Вопрос хороший, потому что правильный ответ на него — первый урок лингвистики, а у большинства из нас этого урока никогда не было.
Смысл не в буквах
Интуиция, стоящая за вопросом, состоит в том, что представление слова должно как-то выводиться из самого слова: из его написания, длины, корня и морфологии. Эта интуиция совершенно неверна, и причине, по которой она неверна, больше века.
Возьмите слово תפוח, «яблоко». Есть ли какая-то связь между этими буквами или звуками, которые они обозначают, и хрустящим красным или зелёным плодом? Никакой. Тот, кто первым употребил это слово, не извлёк его согласные из кожуры плода. Когда Элиэзер Бен-Йехуда придумал слово עגבנייה для помидора, он выбрал корень и модель, и этот выбор был изобретением. Единственное место во вселенной, где существует связь между עגבנייה и красным овощем, — головы носителей иврита, разделяющих это соглашение. Если бы соглашение сложилось иначе и яблоки назывались бы помидорами, а помидоры — яблоками, ни одно свойство ни того, ни другого плода не изменилось бы.
Это то, что Фердинанд де Соссюр назвал произвольностью знака. Слово — это означающее, произвольная метка, прикреплённая общественным соглашением к означаемому, понятию. Метка не несёт никакой информации о понятии. Это не изъян языка; это его суть. Звукоподражания и горстка звукосимволических слов — исключения, которые делают правило видимым.
Как только это видишь, вопрос о подсчёте букв растворяется. Векторное представление — это не представление слова ציפור. Это представление понятия, которое носители иврита случайно помечают как ציפור, а носители английского — как bird. Написание в это вообще не входит и не могло бы входить, потому что в написании нет ничего, что могло бы войти.
Почему так много измерений
Второй вопрос лучше, и первый ответ его не снимает. В языке, может быть, от 50 000 до 150 000 слов в активном употреблении, включая словоформы. Даже 3072-мерное пространство, ограниченное нулями и единицами, содержит 2^3072 различных точек — число, рядом с которым меркнут все слова всех когда-либо существовавших языков. Если бы требовалось лишь различать слова, хватило бы 17 бит, а 120 измерений были бы абсурдным излишеством. Так для чего остальные 2950?
Ответ в том, что различать слова — не цель. Если бы это было целью, хватило бы целочисленного идентификатора, а это ровно то, чем является индекс словаря. Цель векторного представления — разместить понятия в пространстве, где расстояние что-то значит: где «птица» находится близко к «орлу» и далеко от «королевы», где «король» минус «мужчина» плюс «женщина» оказывается рядом с «королевой». Вектор — не идентификатор. Это положение, и положение выбирается так, чтобы геометрическая близость совпадала со смысловой.
Именно это требование и пожирает измерения. Представьте большую квартиру, в которую прибывают десятки чемоданов из разных стран. Вы хотите, чтобы чемоданы из Франции стояли рядом, но также и чемоданы с одеждой, и чемоданы одной семьи, и чемоданы, которые едут дальше в один и тот же пункт назначения. Каждый критерий — независимая ось, вдоль которой вещи должны быть близко или далеко, и если в вашем распоряжении только пол, критерии конфликтуют. Два измерения позволяют соблюсти один-два из них. Чтобы удовлетворить тысячи независимых отношений сходства одновременно, так чтобы никакие два из них не сталкивались, нужны тысячи степеней свободы. Высокая размерность нужна не для хранения слов. Она нужна, чтобы дать простор отношениям между словами.
Никто не расставляет слова вручную. Положения выучиваются на очень большом корпусе путём наблюдения за тем, какие слова встречаются в обществе каких других, и подстройки до тех пор, пока слова, водящие сходную компанию, не окажутся рядом.
Сами по себе числа ничего не значат
Затем мой друг открыл вектор и посмотрел на него: 1536 чисел с плавающей точкой, все примерно между минус 0,1 и 0,1. Что значит пятнадцатое? «Имеет крылья»? «Является животным»?
Ни то ни другое, и не потому, что ответ секретен. Ни одна отдельная координата не имеет смысла, который человек мог бы назвать. Смысл вектора целиком заключается в его отношении к каждому другому вектору: в угле, который он образует с каждым, в расстоянии до каждого. Поверните всё пространство, и каждое число изменится, а каждый смысл останется точно тем же, потому что углы и расстояния сохраняются. Смысл в векторном представлении чисто дифференциален.
Это тоже Соссюр. Он утверждал, что в языке есть только различия без положительных членов: слово означает то, что означает, в силу слов, которыми оно не является, в силу своего места в сети противопоставлений. Лингвисты описывали прозой, из кресла, структуру, которую специалисты по машинному обучению восемьдесят лет спустя переоткрыли градиентным спуском. Это одно из самых отрадных известных мне схождений гуманитарной теории и инженерного результата.
Что это даёт на практике
Ничто из этого не философия ради философии. Векторные представления — самостоятельная технология, более старая, чем большие языковые модели, которые теперь используют их как входной слой, и не зависящая от них. Можно взять корпус, превратить каждый отрывок в вектор, сохранить векторы в базе данных с поддержкой поиска ближайших соседей и попросить у неё отрывки, ближайшие к «королевской власти» или «Шекспиру». Никакая генеративная модель при этом не участвует. Именно это делает генерация, дополненная поиском (RAG), с документами компании: индексирует их как векторы, достаёт ближайшие к вопросу и передаёт их модели, чтобы она отвечала по документам, а не из своего воображения.
Это объясняет и то, почему серьёзные системы сохраняют старый полнотекстовый поиск рядом с новым векторным. Они ошибаются противоположным образом. Лексический поиск по токенам находит точные номера деталей, идентификаторы и фрагменты кода и проваливается на перефразировании и синонимах. Семантический поиск по векторам находит перефразирования и синонимы и безнадёжен в точных идентификаторах — именно потому, что он никогда не смотрел на буквы. Поэтому рабочие системы запускают оба и сливают ранжированные результаты, обычно методом обратного рангового слияния (reciprocal rank fusion). Инженерное решение объединить их — прямое следствие лингвистического тезиса: один индекс знает означающее, другой — означаемое, и нужны оба.
Урок
Инженеры, которые никогда не проходили курс лингвистики, приходят к векторным представлениям с интуицией, что смысл живёт в строке. Это не так. Он живёт в сети отношений между понятиями, а строка — произвольная ручка, которую сообщество договорилось прикрепить к одному узлу этой сети. Когда это понято, каждое конструктивное решение в модели векторных представлений — размер векторов, бессмысленность отдельных координат, потребность во втором, лексическом индексе — следует естественным образом. Первый урок лингвистики оказывается первым уроком векторного поиска.