# 结构化日志解析器

自动识别常见日志格式，提取核心字段并推断字段类型，支持导出为 JSON、CSV 或 SQL。

> 标准页面: https://elysiatools.com/zh/tools/structured-log-analyzer

- **分类:** Data Processing

- **关键词:** 日志, 结构化, jsonl, apache, syslog

## 概述

结构化日志解析器是一款专为开发者和运维人员设计的数据处理工具。它能够自动识别 JSON Lines、Apache、Nginx 和 Syslog 等常见日志格式，提取核心字段并智能推断数据类型。无论您是需要排查线上故障，还是将杂乱的文本日志转换为结构化数据，都可以通过该工具快速将日志导出为 JSON、CSV 或 SQL 格式，大幅提升日志分析和排查效率。

## 输入项

- **日志输入** (textarea): {"level":"error","message":"Disk almost full"} 127.0.0.1 - - \[10/Oct/2000:13:55:36 -0700\] "GET /health HTTP/1.1" 200 2326
- **日志文件** (file)
- **导出格式** (select)
- **聚合多行日志** (checkbox)
- **自定义正则** (text): ^(?\\S+) (?\\w+) (?\\w+) (?.+)$

## 适用场景

- 需要将服务器上杂乱的纯文本日志转换为结构化表格，以便在 Excel 或数据分析软件中进行筛选和统计时。
- 准备将本地的 JSONL 或 Syslog 日志文件批量导入到关系型数据库（如 MySQL）进行持久化存储和查询时。
- 排查线上复杂报错，需要通过自定义正则表达式精准提取特定格式日志中的关键字段（如 TraceID 或错误码）时。

## 工作原理

- 在文本框中粘贴原始日志内容，或直接上传 .txt、.jsonl 等格式的日志文件（最大支持 20MB）。
- 选择目标导出格式（JSON、CSV 或 SQL），并根据需要开启“聚合多行日志”功能以处理带有堆栈跟踪的复杂日志。
- 如果日志格式较为特殊，可在“自定义正则”中输入带有命名捕获组的正则表达式进行精准匹配。
- 工具将自动解析日志、提取核心字段并推断数据类型，最终生成结构化数据供您预览和下载。

## 使用案例

- 运维工程师将 Nginx 访问日志转换为 CSV 格式，用于统计高频访问 IP 和接口响应时间。
- 后端开发者使用自定义正则提取微服务日志中的 TraceID 和错误信息，快速定位线上 Bug。
- 数据分析师将历史 JSONL 格式的用户行为日志转换为 SQL 插入语句，方便导入数据库进行二次查询。

## 常见问题

### 支持解析哪些常见的日志格式？

工具内置了对 JSON Lines、Apache 访问日志、Nginx 日志以及标准 Syslog 格式的自动识别和解析支持。

### 如何处理带有 Java 异常堆栈的多行日志？

请勾选“聚合多行日志”选项，工具会自动识别并将属于同一事件的多行堆栈跟踪合并为单条日志记录。

### 如果我的日志格式比较冷门怎么办？

您可以使用“自定义正则”功能，输入带有命名捕获组（如 \`(?\\w+)\`）的正则表达式，工具会根据您的正则提取对应字段。

### 导出的 SQL 语句是什么格式的？

导出的 SQL 为标准的 INSERT INTO 语句，工具会根据提取到的字段自动推断数据类型，并生成对应的插入语句。

### 上传的日志文件有大小限制吗？

有的，目前支持最大上传 20MB 的日志文件。如果文件过大，建议先在本地进行切割或提取关键片段后再上传。

## 相关工具

- [CSV 转数据库迁移规划器](https://elysiatools.com/zh/tools/csv-to-database-migration-planner): 根据 CSV 数据推断关系型 schema，并为 PostgreSQL、MySQL、SQLite 或 SQL Server 生成建表和 ALTER 迁移计划
- [Mock Data 命名前缀 / 缩写冲突检测器](https://elysiatools.com/zh/tools/mock-data-naming-conflict-detector): 检测 CSV、JSON 或 schema 中视觉易混淆的字段名和前缀冲突，并给出更清晰的改名建议
- [数据质量画像师](https://elysiatools.com/zh/tools/dataset-quality-profiler): 对 CSV 或 JSON 数据集进行质量画像，识别缺失值、重复行、格式漂移、类型推断和数值异常。
- [时间序列预测与季节性分析](https://elysiatools.com/zh/tools/time-series-forecast-seasonality-analyzer): 从 CSV 或 JSON 时间序列数据中预测未来数期，并在一份报告中查看趋势、季节项和残差分解
- [PDF 表格提取到 CSV/JSON](https://elysiatools.com/zh/tools/pdf-table-extractor-to-csv-json): 用 OpenDataLoader 从 PDF 中抽取表格，并导出为结构化 JSON、扁平 CSV 或 HTML 表格
- [文本转Excel转换器](https://elysiatools.com/zh/tools/text-to-excel): 将各种文本格式转换为Excel，支持自定义解析和格式化选项
- [CSV 生成 JSON-LD](https://elysiatools.com/zh/tools/json-ld-generator-from-csv): 把 CSV 或 Excel 行数据转换为适用于 Article、Product、Event 的 Schema.org JSON-LD，方便 SEO 团队直接验证
- [BOM字符移除器](https://elysiatools.com/zh/tools/data-bom-remover): 从文本和文件内容中移除BOM（字节顺序标记）字符。非常适合清理有编码问题的文本文件、修复CSV导入和为处理准备数据。 功能特点： - 检测并移除UTF-8 BOM (EF BB BF) - 检测并移除UTF-16 BOM (FE FF 或 FF FE) - 检测并移除UTF-32 BOM (00 00 FE FF 或 FF FE 00 00) - 支持多种输入格式 - 可视化BOM字符显示 - 详细检测报告 - 支持批量文本处理 常见用途： - 修复CSV文件导入错误 - 清理文本文件编码问题 - 为JSON解析准备数据 - 修复XML解析问题 - 解决API数据编码冲突 - 标准化文本数据格式

## 示例

- [Windows 字符串处理 - C# 示例](https://elysiatools.com/zh/samples/windows-string-processing-csharp): Windows平台C#字符串处理示例，包括字符串操作、分割、连接、正则表达式和文本分析
- [CSV示例](https://elysiatools.com/zh/samples/csv-samples): 各种数据类型、大小和复杂度级别的CSV示例文件
- [Python 示例](https://elysiatools.com/zh/samples/python): Python代码示例和Hello World演示
- [Apache Arrow 示例](https://elysiatools.com/zh/samples/arrow): Apache Arrow 内存列式格式示例，用于高性能数据处理和分析

## 相关内容

- [JSON 格式化、对比与规范化工具](https://elysiatools.com/zh/hubs/json-format): 在一个专题中比较 JSON 格式化、差异对比、日志审查、配置比较和数据规范化工具，适合需要让 JSON 更易读、更易审查的流程。
- [JSON 检查、对比与转换工具](https://elysiatools.com/zh/hubs/json-utility): 把 JSON 格式化、差异对比、路径检查、Schema 校验、合并、转换和导出工具集中到一个专题中，适合 API 与数据处理流程。
- [PII 检测、日志脱敏与隐私清理工具](https://elysiatools.com/zh/hubs/pii-log-redaction): 在一个专题里完成日志中的个人信息扫描、敏感文本脱敏、标识符校验，以及更适合共享的隐私清理输出准备。
- [可观测性、日志分析与 Trace 排障工具](https://elysiatools.com/zh/hubs/observability-debugging): 在一个专题里完成日志解析、Trace 检查、API 载荷漂移对比，以及把原始观测数据整理成时间线、时序图和结构化排障证据。