Какие языки поддерживаются?

Доступны автоматическое определение, английский, китайский, испанский, французский, немецкий, русский и португальский.

Какие форматы вывода доступны?

Результат можно получить в JSON, JSONL или CoNLL.

Можно ли удалить стоп-слова?

Да. Для этого включите опцию «Удалять стоп-слова».

Что делает лемматизация?

Она добавляет к токенам их леммы — базовые словарные формы.

Какой размер n-граммы можно выбрать?

Доступны значения от 1 до 3, включая униграммы, биграммы и триграммы.

Elysia Tools

Навигация

Text Processing

Рабочая область NLP-разметки текста

Выполняет объяснимую локальную токенизацию, сегментацию, обработку стоп-слов, леммы, основы, сущности и n-граммы с экспортом JSONL или CoNLL.

Запуск

Запустить этот инструмент

Заполните форму, запустите инструмент и посмотрите результат на этой же странице.

Подготовленные примеры запуска

Нажмите пример, чтобы автоматически заполнить форму. Файлы по-прежнему нужно загрузить.

2 примеров

Разметить английскую заметку поддержки

Токенизирует короткую заметку, удаляет стоп-слова, находит e-mail и экспортирует структурированный JSON.

{"language":"en","tokenCount":6,"entities":[{"type":"EMAIL"}]}

Экспортировать китайскую разметку в CoNLL

Сохраняет китайскую сегментацию и локальные эвристические метки в построчном формате CoNLL.

{"language":"zh","format":"conll","formatted":"北京\t北京\tNOUN\tO"}

Ввод

Заполните нужные поля и запустите инструмент.

8 параметров

СодержимоеВставьте или введите основные значения.1

ТекстtextareaОбязательно

НастройкиНастройте форматы, диапазоны, числа и режимы.3

ЯзыкselectНеобязательноФормат выводаselectНеобязательноРазмер n-граммыnumberНеобязательно

ПереключателиВключайте или отключайте дополнительные режимы.4

Удалять стоп-словаcheckboxНеобязательноВключено, если отмеченоВключить стеммингcheckboxНеобязательноВключено, если отмеченоВключить лемматизациюcheckboxНеобязательноВключено, если отмеченоОпределять сущностиcheckboxНеобязательноВключено, если отмечено

Результат

Готово к запуску

После запуска здесь появятся файлы, текст, структурированные данные или потоковый вывод.

Примеры

Примеры для этого инструмента

Связано

Рабочая область NLP-разметки текста

Запустить этот инструмент

Подготовленные примеры запуска

Ввод

Результат

Примеры для этого инструмента

Продолжить с похожими инструментами и темами

Подготовленные примеры запуска

Ввод

Результат

Узнайте, когда использовать этот инструмент, что он поддерживает и как его применяют пользователи.

Ключевые факты

Обзор

Когда использовать

Как это работает

Сценарии использования

Примеры

1. Разметка английской заметки поддержки

2. Экспорт китайской разметки в CoNLL

FAQ

Примеры текста с эмодзи

Примеры Дублирующихся Строк

Примеры Специальных Символов

Примеры Файловых Операций Android Java

Массовый Извлекатель Электронной Почты

Криминалистика и восстановление кодировки текста

Безлимитный Мультиязычный ИИ-переводчик заголовков

Удалитель BOM Символов

Инструменты JSON-обмена и перевода форматов

Инструменты конвертации регистра, кодировки и нормализации текста

Инструменты для проверки, diff и преобразования JSON

Инструменты Text