Ключевые факты
- Категория
- Data Processing
- Типы входных данных
- textarea, select, text, checkbox, number
- Тип результата
- text
- Покрытие примерами
- 4
- API доступен
- Yes
Обзор
Нормализатор Z-Score — это профессиональный инструмент для стандартизации числовых данных, который преобразует значения к среднему значению 0 и стандартному отклонению 1. Это необходимо для корректного сравнения показателей в разных масштабах, подготовки признаков для моделей машинного обучения и эффективного обнаружения статистических аномалий.
Когда использовать
- •При подготовке данных для алгоритмов машинного обучения, чувствительных к масштабу признаков.
- •Когда необходимо сравнить показатели, измеренные в разных единицах измерения или имеющие разный диапазон значений.
- •Для выявления выбросов и аномальных значений в больших наборах данных с помощью статистических порогов.
Как это работает
- •Загрузите ваш CSV-файл или вставьте данные в текстовое поле.
- •Выберите тип стандартизации (стандартный Z-Score или устойчивый метод с использованием медианы).
- •Настройте параметры обработки пропущенных значений и укажите целевые столбцы для преобразования.
- •Запустите процесс и получите нормализованный набор данных с сопутствующей статистической сводкой.
Сценарии использования
Примеры
1. Подготовка данных для ML-модели
Data Scientist- Контекст
- Необходимо обучить модель прогнозирования цен на недвижимость, где площадь измеряется в сотнях метров, а количество комнат — единицами.
- Проблема
- Разный масштаб признаков приводит к медленной сходимости модели и искажению весов.
- Как использовать
- Загрузить CSV, выбрать столбцы 'площадь' и 'комнаты', применить стандартный Z-Score.
- Пример конфигурации
-
standardizationType: zscore, targetColumns: площадь, комнаты - Результат
- Все признаки приведены к единому масштабу (среднее=0, ст.откл=1), что ускоряет обучение модели.
2. Выявление аномальных транзакций
Финансовый аналитик- Контекст
- Анализ логов транзакций для поиска подозрительных операций, выходящих за рамки типичного поведения.
- Проблема
- Сложно определить порог 'подозрительности' для разных типов счетов.
- Как использовать
- Использовать устойчивый Z-Score для обработки сумм транзакций и включить опцию обнаружения выбросов с порогом 3.
- Пример конфигурации
-
standardizationType: robust, detectOutliers: true, outlierThreshold: 3 - Результат
- Получен отчет с отмеченными транзакциями, которые отклоняются от медианы более чем на 3 единицы MAD.
Проверить на примерах
csv, video, barcodeСвязанные хабы
FAQ
Что такое Z-Score?
Это статистический показатель, который показывает, на сколько стандартных отклонений конкретное значение отклоняется от среднего арифметического всей выборки.
В чем разница между стандартным и устойчивым Z-Score?
Стандартный Z-Score использует среднее и стандартное отклонение, а устойчивый (Robust) — медиану и медианное абсолютное отклонение (MAD), что делает его менее чувствительным к выбросам.
Что произойдет с нечисловыми столбцами?
Инструмент автоматически сохраняет нечисловые столбцы без изменений, применяя математические преобразования только к выбранным числовым данным.
Как инструмент обрабатывает пропущенные значения?
Вы можете выбрать стратегию обработки: пропуск строк, заполнение средним, медианой, нулями или модой в зависимости от специфики ваших данных.
Можно ли масштабировать данные в заданный диапазон?
Да, вы можете указать целевой диапазон вывода, если стандартного преобразования Z-Score недостаточно для ваших задач.