Embedding в машинном обучении: как текст превращается в вектор

Embedding, или эмбеддинг, - числовое векторное представление объекта. Для текста модель строит набор координат, который можно использовать в поиске, сравнении и других задачах. Подобные представления применяются и к другим видам данных.

Для пользователя важнее всего проверить, помогает ли выбранное представление находить нужные сведения. Длина вектора и красивое облако точек сами по себе качество поиска не подтверждают.

Пример поиска по базе поддержки

В учебной базе есть инструкция о переносе даты доставки. Покупатель спрашивает: «Можно привезти заказ в другой день?» Совпадающих слов может быть мало, но задача похожа. Эмбеддинги позволяют сравнивать запрос и фрагменты базы в выбранном числовом представлении.

Поиск возвращает кандидатов по принятой мере сходства. Близость ещё не означает, что фрагмент содержит точный ответ. Инструкция о переносе адреса, отмене заказа или другой службе доставки может оказаться похожей по теме, но неподходящей по условиям.

Поэтому поиск и проверка применимости найденного документа - отдельные этапы. Ответ пользователю должен опираться на содержание источника, а не только на оценку близости.

Что нужно хранить вместе с вектором

Сохраните исходный текст, идентификатор документа, версию и необходимые метаданные. Для инструкции могут иметь значение регион, тип услуги и дата действия. Эти ограничения удобнее задавать явно, чем ожидать, что вектор сам исключит неподходящий вариант.

Укажите модель и версию, которыми построено представление. Запросы и документы должны находиться в совместимом пространстве. Равное число координат не гарантирует совместимость двух разных моделей.

После смены модели может потребоваться пересчитать представления базы и заново проверить выдачу. Простая замена инструмента для запросов при сохранении старых векторов способна нарушить поиск.

Как разрезать длинный документ

Для поиска часто используют отдельные фрагменты. Если фрагмент слишком короткий, он теряет условия и исключения. Если слишком большой, нужный ответ может оказаться среди множества других тем.

Начните с естественных границ разделов и сохраните связь с оригиналом. У найденного фрагмента должны быть понятны заголовок, соседний контекст и место в документе. Это поможет проверить смысл и показать пользователю источник.

Пригодный размер зависит от документов, модели и задачи. Универсальное число символов для любой базы нельзя принять без проверки на собственных запросах.

Соберите небольшой набор проверки

Подготовьте реальные по смыслу вопросы без личных данных. Для каждого запишите подходящий документ и случаи, где база не содержит ответа. Добавьте похожие формулировки, точные номера, отрицания и ограничения по услуге.

Проверьте, попадает ли нужный фрагмент в выдачу, на какую позицию и какие ошибки встречаются. Сравните с простым поиском по словам: точные артикулы и идентификаторы могут требовать отдельного подхода или сочетания методов.

Порог сходства выбирается по этой проверке и рабочему поведению системы. Само число не является универсальной вероятностью правильного ответа.

Где заканчиваются возможности представления

Эмбеддинги не подтверждают достоверность документа и не определяют права доступа автоматически. Поиск должен учитывать допустимость показа источников. Устаревшая инструкция остаётся устаревшей, даже если найдена очень точно.

Для генерации ответа поверх найденных фрагментов потребуется дополнительная проверка опоры на текст. Общая схема такого решения разобрана в статье о RAG.