Что такое token limit и как с ним работать?

Слово «автоматизация» — примерно 5 токенов. Всё, что вы пишете ИИ и что он отвечает, считается в токенах.

Каждая модель имеет «контекстное окно» — максимальный объём токенов в одном разговоре. Когда лимит достигнут, ИИ начинает «забывать» то, что было в начале разговора.

Сколько это в реальных единицах

GPT-4o — 128 000 токенов ≈ примерно 90–100 000 слов. Это большая книга. Claude 3.5 Sonnet — 200 000 токенов ≈ 140–150 000 слов. Для большинства задач этого хватает с запасом.

Проблемы начинаются при работе с очень длинными документами или очень длинными диалогами.

Когда это реально мешает

Анализ большого документа (книга, несколько контрактов, большой массив данных). Длинные разговоры, где нужно помнить детали из начала. Работа с кодом большого проекта целиком.

Как работать с большими документами

Режьте документ на части. Анализируйте по главам или разделам, а потом просите ИИ сделать общий вывод на основе полученных резюме каждой части.

Используйте RAG-решения (когда ИИ ищет нужную часть документа сам, а не получает всё сразу).

Для Claude: Projects позволяет хранить документы в «базе знаний» — ИИ обращается к ним по запросу, не занимая лимит разговора.

Новый разговор — лучшее решение

Если разговор стал длинным и ИИ начинает давать странные ответы — начните новый. Перед этим попросите: «Сделай краткое резюме нашего разговора и ключевых решений». Это резюме вставляете в начало нового диалога — и ИИ продолжает с сохранённым контекстом.