Чем отличается точный подсчет от эвристического?

Точный подсчет (exact-offline-tokenizer) использует реальные алгоритмы токенизации на вашем устройстве, а эвристический (heuristic) — математическую модель оценки для провайдеров без открытых локальных библиотек.

Поддерживает ли инструмент подсчет токенов для сообщений чата?

Да, вы можете переключить режим подсчета (countMode) с обычного текста (raw-text) на формат сообщения чата (chat-message) для более точной симуляции API-запроса.

Какие форматы файлов можно загружать для анализа?

Вы можете загружать текстовые файлы размером до 20 МБ с расширениями .txt, .md, .csv, .json и .log.

Как рассчитываются токены для моделей Claude?

При наличии API-ключа Anthropic расчет выполняется через официальный метод count_tokens. Без ключа инструмент автоматически переключается на надежную эвристическую оценку.

Безопасно ли отправлять конфиденциальный код или текст?

Да, базовый подсчет для OpenAI выполняется локально в вашем браузере без отправки текста на внешние серверы.

Elysia Tools

Навигация

Оценщик AI-токенов

Анализирует смешанные языки и оценивает токены для OpenAI, Codex, Claude и DeepSeek

Детали

С чем помогает этот инструмент

Оценивает расход токенов для вставленного текста или загруженных файлов TXT/Markdown.

Что делает:

Определяет смешанный состав языков и письменностей, включая китайские иероглифы, латиницу, кану, хангыль, кириллицу, арабское письмо, эмодзи, символы и строки, похожие на код
Считает OpenAI / Codex o200kbase и OpenAI cl100kbase локальным tokenizer
Считает Claude через официальный Anthropic counttokens при наличии CLAUDEAPIKEY или ANTHROPICAPI_KEY и возвращается к эвристике только при ошибке вызова
Оценивает DeepSeek прозрачными эвристиками, когда официальный счетчик недоступен
Помечает каждый профиль как exact-offline-tokenizer, official-provider-api или heuristic, чтобы не выдавать оценку за точное значение

Запуск

Запустить этот инструмент

Заполните форму, запустите инструмент и посмотрите результат на этой же странице.

Подготовленные примеры запуска

Нажмите пример, чтобы автоматически заполнить форму. Файлы по-прежнему нужно загрузить.

1 примеров

Оценить смешанный китайско-английский промпт

Анализирует короткую многоязычную инструкцию перед отправкой в несколько AI-моделей

{"result":{"input":{"characters":37},"language":{"primary":"Latin","mixed":true},"estimates":[{"profile":"openai-codex-o200k-base"}]}}

Ввод

Заполните нужные поля и запустите инструмент.

4 параметров

ФайлыЗагрузите исходные файлы для этого сценария.1

Текстовый файлfileНеобязательно

Максимальный размер одного файла: 20 MBПоддерживаемые типы: text/plain, text/markdown, .txt, .md, .csv, .json, .log

СодержимоеВставьте или введите основные значения.1

Входной текстtextareaНеобязательно

НастройкиНастройте форматы, диапазоны, числа и режимы.2

Профили моделейselectНеобязательноРежим подсчетаselectНеобязательно

Результат

Готово к запуску

После запуска здесь появятся файлы, текст, структурированные данные или потоковый вывод.

Примеры

Примеры для этого инструмента

Связано

Оценщик AI-токенов

С чем помогает этот инструмент

Запустить этот инструмент

Подготовленные примеры запуска

Ввод

Результат

Примеры для этого инструмента

Продолжить с похожими инструментами и темами

Подготовленные примеры запуска

Ввод

Результат

Узнайте, когда использовать этот инструмент, что он поддерживает и как его применяют пользователи.

Ключевые факты

Обзор

Когда использовать

Как это работает

Сценарии использования

Примеры

1. Оценка многоязычного промпта для локализации

2. Анализ тяжелого JSON-файла конфигурации

FAQ

PDF Примеры

CSV Примеры

Примеры Python

Примеры JWT

Объединитель TXT

Анализатор структурированных логов

Анализатор прогноза и сезонности

Карта Тишины

Инструменты инжиниринга промптов и подготовки входных данных для LLM

Инструменты для чанкинга RAG, очистки корпуса и подготовки к поиску

Инструменты анализа текста, читаемости и проверки содержания

Инструменты качества данных, дедупликации и поиска аномалий