Ключевые факты
- Категория
- Данные и таблицы
- Типы входных данных
- textarea, file, select, checkbox, text
- Тип результата
- html
- Покрытие примерами
- 4
- API доступен
- Yes
Обзор
Анализатор структурированных логов — это мощный инструмент для автоматического распознавания и парсинга различных форматов логов, включая JSON Lines, Apache и syslog. Он извлекает ключевые поля, объединяет многострочные записи и позволяет экспортировать обработанные данные в удобные форматы, такие как JSON, CSV или SQL-запросы, для дальнейшего анализа и интеграции.
Когда использовать
- •Когда необходимо преобразовать сырые серверные логи (Apache, Nginx, syslog) в табличный формат CSV для анализа в Excel или BI-системах.
- •При миграции или импорте логов в реляционную базу данных, когда требуются готовые SQL-запросы (INSERT).
- •Для отладки приложений и извлечения специфических данных из нестандартных логов с помощью пользовательских регулярных выражений (Regex).
Как это работает
- •Вставьте текст логов в поле ввода или загрузите файл (до 20 МБ) в формате TXT, JSON или NDJSON.
- •Выберите желаемый формат экспорта: JSON, CSV или SQL.
- •При необходимости включите агрегацию многострочных логов или укажите пользовательское регулярное выражение для нестандартных форматов.
- •Инструмент автоматически распознает структуру, извлечет поля и сгенерирует отформатированный результат для скачивания или просмотра.
Сценарии использования
Примеры
1. Конвертация смешанных логов в CSV
Системный администратор- Контекст
- Администратору нужно проанализировать логи из разных источников (приложение и система) в табличном виде.
- Проблема
- Сырые логи в форматах JSONL и syslog трудно читать и фильтровать вручную.
- Как использовать
- Вставьте смешанные логи в поле ввода, выберите формат экспорта «CSV» и включите агрегацию многострочных записей.
- Пример конфигурации
-
Формат экспорта: CSV, Агрегировать многострочные логи: Да - Результат
- Логи нормализуются в единую таблицу CSV с колонками для уровня ошибки, сервиса и сообщения.
2. Парсинг кастомных логов с помощью Regex
Backend-разработчик- Контекст
- Приложение пишет логи в нестандартном текстовом формате, который не распознается автоматически.
- Проблема
- Нужно извлечь временную метку, уровень логирования и сообщение для импорта в базу данных.
- Как использовать
- Загрузите файл логов, выберите экспорт в «SQL» и укажите регулярное выражение с именованными группами.
- Пример конфигурации
-
Пользовательский regex: ^(?<timestamp>\S+) (?<level>\w+) (?<source>\w+) (?<message>.+)$ - Результат
- Инструмент разбивает строки по регулярному выражению и генерирует готовые SQL-запросы INSERT для базы данных.
Проверить на примерах
json, csv, sqlСвязанные хабы
FAQ
Какие форматы логов поддерживаются по умолчанию?
Инструмент автоматически распознает популярные форматы, такие как JSON Lines (JSONL), логи веб-серверов (Apache, Nginx) и системные логи (syslog).
Можно ли загружать файлы логов?
Да, вы можете загрузить текстовые файлы или файлы JSON размером до 20 МБ через поле загрузки файла.
Как работает агрегация многострочных логов?
При включении этой опции инструмент объединяет связанные строки (например, stack traces ошибок) в одну логическую запись, предотвращая разрыв данных.
Что делать, если мой формат логов не распознается?
Вы можете использовать поле «Пользовательский regex», чтобы задать собственное регулярное выражение с именованными группами для извлечения нужных полей.
В какие форматы можно экспортировать данные?
Обработанные логи можно экспортировать в форматы JSON, CSV (для табличного анализа) или SQL (в виде запросов INSERT для баз данных).