Как работает языковая модель

Как текст превращается в единицы обработки

Введите свою учебную фразу. Сравните три способа разбиения. Это упрощённая визуализация, а не токенизатор конкретной модели: реальные границы и ID зависят от словаря.

Входной текст

Учебное поручение или фраза

Способ разбиения

Текст сначала превращается в токены, а затем в числовые ID. При подаче модели учитывается и запрос, и приложенные источники, и будущий ответ.

Результат разбиения

Токенов—

Символов—

Слов—

Нажмите токен, чтобы увидеть его позицию.

Что помещается в контекст

В реальной системе предел выражают в токенах конкретной модели. Здесь лимит условный: меняйте его и смотрите, какая часть инструкции остаётся видна в учебной имитации.

Запрос и источники

Текст для проверки

Условный лимит слов20

Какую часть оставить

Система обычно управляет обрезкой сама. Этот опыт показывает, почему критическое ограничение, спрятанное в длинном контексте, можно потерять.

Что «видно» после обрезки

Слов всего—

Осталось—

Потеряно—

Какие слова могут быть связаны

Переключайте фокус, тип связи и маску. Матрица ниже иллюстрирует принцип внимания; проценты рассчитаны учебным алгоритмом и не являются реальными весами LLM.

Параметры визуализации

Короткая фраза (до 9 слов)

Токен в фокусе

Учебная «голова»

Маска

В настоящей модели веса обучаются на данных. Здесь алгоритм только помогает увидеть, что результат зависит от позиции, типа связи и доступного контекста.

Матрица условных весов, %

Выбор следующего токена

Изменяйте температуру и ширину выбора, затем запускайте последовательность шагов. Слова-кандидаты взяты из учебного словаря и зависят от темы запроса. Это симуляция распределения, не ответ внешней модели.

Условия генерации

Учебный запрос

Температура0.7

Top-K, число кандидатов4

При T=0 всегда выбирается самый вероятный вариант в этой модели. Более высокая температура распределяет вероятность шире. Это не делает факты истинными.