Модель, токены и стоимость

Токен — единица, в которой модель «думает» и в которой провайдер берёт деньги.

Токен — кусочек текста (часть слова, слово или знак), на которые модель разбивает вход и выход. Оплата считается за токены входа и выхода отдельно.

Что такое токен на практике

Модель не видит буквы — она видит токены. Для английского текста грубо ~4 символа на токен (или ~0,75 слова на токен). Русский и код токенизируются «дороже»: на ту же мысль уходит больше токенов. Точное число даёт токенизатор провайдера, но для прикидки бюджета хватает грубой оценки.

Вход и выход считаются отдельно

Цены указывают как «$ за 1 млн входных токенов» и «$ за 1 млн выходных». Выход обычно в несколько раз дороже входа. Поэтому длинные ответы стоят заметно больше, чем длинные промпты.

Цены приведены как пример для расчётов и могут меняться — всегда сверяйтесь с актуальным прайсом провайдера.

Как выбирать модель

Не берите самую мощную модель «на всякий случай». Для классификации, коротких ответов, извлечения данных хватает быстрой дешёвой модели. Тяжёлую модель приберегите для рассуждений, кода, агентных циклов. На больших объёмах разница в цене между моделями — это тысячи долларов в месяц.

Грубый счётчик токенов (запускаемо)

Точную цифру даёт API провайдера (например, эндпоинт count_tokens), но прикинуть порядок можно простой эвристикой «символы / 4». Это оценка, не точный счёт:

def estimate_tokens(text):
    # Грубая эвристика: ~4 символа на токен
    return max(1, round(len(text) / 4))

prompt = "Summarize this article about climate change in three bullet points."
n = estimate_tokens(prompt)
print("Символов:", len(prompt))
print("Оценка токенов:", n)

price_in = 5.0   # $ за 1M входных токенов (пример)
cost = n / 1_000_000 * price_in
print(f"Оценка стоимости входа: ${cost:.6f}")

Вывод:

Символов: 67
Оценка токенов: 17
Оценка стоимости входа: $0.000085

Для русского текста та же эвристика занижает счёт — реальных токенов будет больше. Для точного учёта в продакшене используйте токенизатор/эндпоинт провайдера, а не приближение.

Итог

• Модель оперирует токенами; оплата — за токены входа и выхода раздельно.
• Выход дороже входа, длинные ответы стоят ощутимо больше.
• Выбор модели — компромисс цена/качество под конкретную задачу.
• Эвристика «символы/4» годится только для прикидки; точный счёт — у провайдера.