Языковая модель не читает слова так, как мы. Между вашим вопросом и её ответом есть незаметный шаг — разбиение текста на токены. От него зависят цена запроса, объём документа, который модель «удержит в голове», и даже то, насколько хорошо она поймёт вашу таблицу.
Что такое токен
Токен — это кусочек текста, с которым работает модель. Иногда это целое слово, иногда его часть, иногда знак препинания или пробел. Слово «данные» может оказаться одним токеном, а редкое «нормирование» — тремя-четырьмя.
Модель видит текст как последовательность чисел-номеров этих кусочков и предсказывает, какой кусочек должен идти следующим. Ответ собирается токен за токеном — поэтому он и появляется на экране постепенно.
Почему русский текст «дороже»
Словари токенов строятся по огромным объёмам текстов, а английских среди них больше. Поэтому английские слова чаще попадают в словарь целиком, а русские — дробятся сильнее. Один и тот же смысл на русском обычно занимает заметно больше токенов, чем на английском. Насколько больше — зависит от конкретной модели, и с каждым поколением разрыв сокращается.
Контекстное окно
У каждой модели есть предел — сколько токенов она способна учитывать за один раз. Это и вопрос, и приложенные документы, и история диалога, и сам ответ. Всё, что не помещается, модель просто не видит.
- Длинный документ может не поместиться целиком — тогда его режут на части или ищут в нём нужные фрагменты.
- Большая таблица «съедает» окно быстрее, чем кажется: каждое число, разделитель и повтор — это токены.
- Долгий диалог постепенно вытесняет начало разговора.
Что это значит для ваших данных
Понимание токенов объясняет несколько практичных правил работы с ИИ:
- Чистая структура экономит токены. Пустые строки, декоративные шапки и пояснения в каждой ячейке тратят окно и сбивают модель.
- Повторы стоят денег. В плоской таблице значение группы повторяется в каждой строке. Для больших справочников выгоднее заменить его коротким кодом и приложить справочник отдельно — об этом в статье «Плоский или вложенный».
- Не всё нужно отдавать сразу. Вместо файла на 100 тысяч строк дайте модели описание столбцов и попросите написать запрос или скрипт, который посчитает всё на полных данных.
- Цифры модель «видит» кусочками. Длинное число может разбиться на несколько токенов — поэтому арифметику над таблицами надёжнее поручать коду, а не «устному счёту» модели.
Модель понимает не слова, а кусочки. Чем аккуратнее текст и данные, тем меньше ей приходится угадывать.
Коротко
Токены — техническая деталь, но она объясняет многое: почему у моделей есть лимиты, почему один и тот же запрос на разных языках стоит по-разному и почему аккуратно оформленные данные работают лучше. Знать об этом достаточно на уровне здравого смысла — как знать, что в чемодан помещается ограниченное количество вещей.