Эмбеддинги простыми словами: как нейросеть понимает смысл

Покупатель пишет в поиске интернет-магазина «как вернуть деньги», а в базе знаний статья называется «Возврат средств за заказ». Обычный поиск по словам ничего не находит: совпадений нет. Покупатель уходит в чат поддержки или вообще уходит.

Поиск на нейросетях эту статью найдет. Он сравнивает не слова, а смысл. И работает это благодаря эмбеддингам — той самой штуке, которая позволяет ChatGPT, Алисе и любому умному поиску «понимать», о чем речь.

Ниже — объяснение без формул: карта смыслов, как это устроено внутри нейросетей и где применяется в бизнесе.

Что такое эмбеддинг

Компьютер не умеет работать со словами напрямую. Для него «кроссовки» — это просто девять букв, ничем не ближе к «кедам», чем к «кроссворду». Зато компьютер отлично считает числа.

Эмбеддинг решает эту проблему: превращает слово, предложение, документ или изображение в упорядоченный набор чисел — вектор. Причем так, чтобы в этих числах сохранился смысл.

Слово пришло из английского: embedding — «вложение», «встраивание». Объект как бы встраивают в пространство чисел. По-русски говорят «эмбеддинг», «векторное представление» или просто «вектор» — это синонимы.

Эмбеддинг простыми словами: карта смыслов

Представьте карту, на которой каждое слово — это точка со своими координатами. Слова, близкие по смыслу, стоят рядом. Далекие по смыслу — в разных углах.

Вот как это могло бы выглядеть для товаров интернет-магазина, если бы у карты было всего две координаты:

Товары на карте смыслов

кроссовкикедыслипоныгазонокосилкатриммерсадовый шланг

• Обувь
• Сад

«Кроссовки», «кеды» и «слипоны» держатся вместе: это обувь, про нее пишут похожими словами. «Газонокосилка» и «триммер» — в другом конце карты.

Теперь компьютер может ответить, что ближе по смыслу, — просто измерив расстояние между точками.

В настоящих эмбеддингах координат не две, а сотни и тысячи. Каждая отвечает за какой-то оттенок смысла, который модель нашла сама. Например:

• у модели OpenAI text-embedding-3-small вектор состоит из 1536 чисел, у text-embedding-3-large — из 3072;
• у моделей эмбеддингов Yandex AI Studio — из 256;
• у моделей эмбеддингов GigaChat — от 1024 до 2560, в зависимости от модели.

Представить пространство из тысячи измерений невозможно. Но принцип тот же, что и на плоской карте: близкие точки — близкий смысл.

Как нейросеть понимает смысл с помощью эмбеддингов

Координаты на «карте смыслов» никто не расставляет вручную. Нейросеть находит их сама, когда учится на огромных объемах текста.

Идея опирается на старое наблюдение лингвистов: смысл слова определяется его окружением. Еще в 1957 году британский лингвист Джон Ферт сформулировал ее так: слово узнаешь по его компании. «Кроссовки» и «кеды» встречаются рядом с одними и теми же словами — «размер», «подошва», «шнурки», «примерить». Значит, и координаты у них окажутся рядом.

Самый известный пример — модель word2vec, которую в 2013 году представили исследователи Google. Оказалось, что с ее эмбеддингами можно делать арифметику смыслов:

король − мужчина + женщина ≈ королева

Модели никто не объяснял, что такое род и титул. Она вывела эти связи из того, как слова употребляются в текстах.

Слово «понимает» здесь в кавычках не просто так. Нейросеть не понимает смысл так, как человек. Она умеет очень точно измерять, какие вещи похожи друг на друга, — и этого оказывается достаточно для поиска, перевода и диалога.

Что такое эмбеддинг в нейронных сетях

Внутри языковой модели вроде ChatGPT эмбеддинги — это первый шаг обработки текста:

Как фраза превращается в вектор

1. Текст

   Как вернуть деньги за заказ

3. Токены

   каквернутьденьгизазаказ

5. Векторы токенов

   0,21 −0,74 …−0,05 0,38 …0,62 0,11 …

7. Вектор фразы

   0,08 0,63 −0,15 … и еще сотни чисел

Таблицу, в которой у каждого токена своя строка чисел, называют слоем эмбеддингов. Дальше нейросеть уточняет эти векторы с учетом соседних слов — и в этом главное отличие современных моделей от word2vec. Возьмем слово «коса»:

• «девушка заплела косу»;
• «дед наточил косу»;
• «мы гуляли по песчаной косе».

В word2vec у слова «коса» один вектор на все случаи — что-то усредненное между прической, инструментом и берегом. Современные модели дают три разных вектора, потому что учитывают контекст.

Одно слово — три точки на карте

косаволосылентакосатравасенокоскосапесокотмель

• Прическа
• Инструмент
• Берег

Кроме эмбеддингов отдельных токенов есть эмбеддинги целых текстов: одна строка чисел на предложение, абзац или документ. Их делают специальные модели эмбеддингов — именно они нужны для поиска и чат-ботов по базе знаний.

Как сравнивают эмбеддинги

Чтобы понять, насколько два текста похожи, сравнивают их векторы. Самый частый способ — косинусное сходство.

Представьте каждый вектор как стрелку из центра карты. Если стрелки смотрят в одну сторону — смысл близкий. Если расходятся под прямым углом — тексты никак не связаны. Результат — число: чем ближе к 1, тем больше похожи.

Вот как это выглядит в поиске по базе знаний магазина:

Что найдет поиск по смыслу

Запрос:как вернуть деньги

1. Возврат средств за заказ0,89
2. Как отменить заказ0,71
3. Обмен товара0,66
4. Сроки доставки0,34
5. Подарочные сертификаты0,21

Важная оговорка: сравнивать можно только векторы из одной и той же модели. У каждой модели своя карта, и координаты разных карт друг другу не соответствуют. Это как сравнивать адреса в Москве и Казани по номеру дома.

Где используют эмбеддинги

Почти везде, где компьютеру нужно найти похожее или понять, о чем текст:

• Поиск по смыслу. Тот самый «как вернуть деньги» → «Возврат средств». Работает в интернет-магазинах, базах знаний, внутренних документах компании.
• Чат-боты по базе знаний (RAG). Бот сначала находит через эмбеддинги нужные фрагменты документов, а потом языковая модель составляет по ним ответ. Так ассистент отвечает по вашим регламентам, а не выдумывает.
• Рекомендации. Похожие товары, статьи, фильмы. Интересы пользователя тоже можно записать вектором и искать то, что к нему ближе.
• Разбор обращений и отзывов. Тысячи сообщений автоматически группируются по темам: доставка, качество, возвраты. Видно, на что жалуются чаще всего.
• Поиск дублей. Одинаковые вопросы клиентов, повторяющиеся карточки товаров, похожие заявки.
• Поиск картинок по описанию. Модели вроде CLIP, которую OpenAI представила в 2021 году, переводят текст и изображения на одну и ту же карту. Пишете «красное платье в горошек» — получаете подходящие фото.

Эмбеддинги для бизнеса: с чего начать

Если вы думаете о поиске по смыслу или ассистенте по базе знаний, вот что я бы учел с самого начала.

Свою модель обучать не нужно. Для большинства задач хватает готовых моделей эмбеддингов через API — у OpenAI, Yandex, Сбера — или открытых моделей, которые можно запустить на своем сервере. Обучение своей модели — дорогое занятие, оправданное только для очень специфичных данных.

Проверяйте модель на русском и на своих данных. Рейтинги моделей часто построены на английских текстах. Соберите 30–50 реальных вопросов клиентов и посмотрите, находит ли поиск правильные ответы. Это честнее любого бенчмарка.

Документы и запросы — через одну модель. Сменили модель — пересчитайте векторы всей базы. Иначе поиск начнет находить не то — и если размерность векторов совпадет, не выдаст ни одной ошибки.

Храните векторы в подходящей базе. Для небольших проектов достаточно расширения pgvector для PostgreSQL. Для миллионов документов — специализированные векторные базы вроде Qdrant или Milvus.

Качество ответа зависит от качества документов. Эмбеддинги найдут ближайший фрагмент, но если в базе знаний устаревший регламент, бот уверенно перескажет устаревший регламент.

Если хотите поиск по смыслу на сайте или AI-ассистента, который отвечает клиентам по вашей базе знаний, — с этим я помогаю: AI-ассистенты и автоматизация. А если путаетесь в терминах, начните со статьи о том, в чем разница между ИИ и нейросетью.