# 文本 NLP 标注工作台

使用可解释的本地规则完成分词、句子切分、停用词、词形、词干、实体和 n-gram 标注，并导出 JSONL 或 CoNLL。

> 标准页面: https://elysiatools.com/zh/tools/text-nlp-annotation-workbench

- **分类:** Text Processing

- **关键词:** NLP 标注, 分词, 词性, 词形还原, 命名实体, n-gram

## 概述

文本 NLP 标注工作台使用可解释的本地规则处理文本，支持分词、句子切分、停用词处理、词干提取、词形还原、实体识别和 n-gram 标注，并可输出 JSON、JSONL 或 CoNLL。

## 输入项

- **文本内容** (textarea): Paste a document or corpus sample...
- **语言** (select)
- **输出格式** (select)
- **移除停用词** (checkbox)
- **启用词干提取** (checkbox)
- **启用词形还原** (checkbox)
- **识别实体** (checkbox)
- **N-gram 大小** (number)

## 适用场景

- 需要快速查看英文、中文及其他支持语言文本的词元和基础标注时。
- 需要移除停用词、提取词干或进行词形还原，以便准备文本分析数据时。
- 需要识别文本中的实体并将标注结果导出为 JSONL 或 CoNLL 时。

## 工作原理

- 粘贴文档或语料片段到文本内容框中，并选择语言或使用自动检测。
- 选择 JSON、JSONL 或 CoNLL 输出格式。
- 按需启用停用词移除、词干提取、词形还原和实体识别。
- 设置 1 到 3 的 N-gram 大小，运行后查看结构化标注结果。

## 使用案例

- 整理客服文本中的词元、停用词和邮箱实体。
- 为中文语料生成包含词元、词性和实体标签的 CoNLL 数据。
- 使用词干、词形和 n-gram 结果准备文本分析样本。

## 常见问题

### 支持哪些语言？

支持自动检测、英语、中文、西班牙语、法语、德语、俄语和葡萄牙语。

### 可以导出哪些格式？

支持 JSON、JSONL 和 CoNLL。

### 是否可以保留停用词？

可以，关闭“移除停用词”即可保留停用词。

### N-gram 大小可以设置为多少？

可设置为 1、2 或 3。

### 实体识别会输出什么？

工具会在结构化结果中标注识别到的实体类型，例如 EMAIL。

## 相关工具

- [批量邮箱提取器](https://elysiatools.com/zh/tools/bulk-email-extractor): 从输入文本、文章、网页源码或混合内容中提取所有邮箱地址。支持去重和导出为JSON格式。
- [文本编码取证与修复](https://elysiatools.com/zh/tools/text-encoding-forensics-and-repair): 检查编码、BOM、换行风格和乱码迹象，并生成带评分的本地修复候选。
- [无限制AI多语言标题翻译器](https://elysiatools.com/zh/tools/unlimited-ai-title-translator-multi): 专业的AI驱动多语言标题翻译工具，支持同时翻译到多种语言，输出JSON格式，适用于电影、电视剧、动漫、游戏等各类作品
- [BOM字符移除器](https://elysiatools.com/zh/tools/data-bom-remover): 从文本和文件内容中移除BOM（字节顺序标记）字符。非常适合清理有编码问题的文本文件、修复CSV导入和为处理准备数据。 功能特点： - 检测并移除UTF-8 BOM (EF BB BF) - 检测并移除UTF-16 BOM (FE FF 或 FF FE) - 检测并移除UTF-32 BOM (00 00 FE FF 或 FF FE 00 00) - 支持多种输入格式 - 可视化BOM字符显示 - 详细检测报告 - 支持批量文本处理 常见用途： - 修复CSV文件导入错误 - 清理文本文件编码问题 - 为JSON解析准备数据 - 修复XML解析问题 - 解决API数据编码冲突 - 标准化文本数据格式
- [去除重复行](https://elysiatools.com/zh/tools/remove-duplicate-lines): 对列表或文本块中的行去重。保留每行的首次或最后一次出现，支持区分大小写、比较前修剪空白和忽略空行。
- [JSON 差异可视化](https://elysiatools.com/zh/tools/json-diff-visualizer): 比较两个 JSON 并生成带颜色、路径和统计信息的可视化差异报告
- [JSON键提取器](https://elysiatools.com/zh/tools/json-key-extractor): 从JSON对象中提取所有键，支持多种输出格式。非常适合分析JSON结构、生成文档和理解复杂的嵌套对象。
- [深度去重](https://elysiatools.com/zh/tools/uniq-with): 使用 lodash _.uniqWith 进行深度去重

## 示例

- [含表情符号的文本示例](https://elysiatools.com/zh/samples/text-with-emoji-samples): 用于测试表情符号提取的各种语言混合文本和Unicode表情符号
- [重复行示例](https://elysiatools.com/zh/samples/text-duplicate-line-samples): 用于测试重复行移除工具的各种重复行类型的示例文件
- [特殊字符示例](https://elysiatools.com/zh/samples/text-special-characters-samples): 用于测试非字母数字字符移除的各种特殊字符、标点符号和符号的示例文本文件
- [Android Java 文件操作示例](https://elysiatools.com/zh/samples/android-file-operations-java): Android Java 文件操作示例，包括文本文件读写、文件复制移动、目录遍历和文件验证