# Оценщик обрезки Parquet по bloom-фильтрам, zone-картам, словарям и статистике колонок Декодирует thrift-footer Parquet и количественно оценивает обрезку predicate pushdown: min/max zone-карт, split-block bloom-фильтры (XXH64), доли словарей и кодировки, с оценками экономии по группам строк для примерных предложений WHERE. > Каноническая страница: https://elysiatools.com/ru/tools/parquet-bloom-filter-zonemap-dictionary-and-column-statistics-pruner-evaluator - **Категория:** Data Analysis - **Ключевые слова:** паркет обрезка, bloom фильтр parquet, zone карта, predicate pushdown, пропуск групп строк, доля словаря, статистика parquet, thrift footer парсер ## Обзор Самописный ридер thrift compact декодирует footer и обходит каждую заголовок страницы; статистика превращается в настоящие zone-карты; проверка bloom выполняет реальную арифметику XXH64 + SBBF; предикаты (=, !=, <, <=, >, >=, BETWEEN, IN) по каждой группе строк классифицируются как обрезано-картой, обрезано-bloom или сканирование с байтовой стоимостью из total_compressed_size. ## Входные данные - **Файл Parquet** (file): Upload a .parquet file - **Предложения WHERE (по одному в строке)** (textarea): id = 75 id > 60 name = 'zeta' Supports =, !=, <, <=, >, >=, BETWEEN a AND b, IN (x, y) ## Когда использовать - Оптимизация производительности аналитических SQL-запросов и оценка пропуска групп строк (row groups) в хранилищах данных. - Проверка наличия, корректности и эффективности bloom-фильтров и min/max-статистики после генерации Parquet-файлов пайплайнами данных. - Аудит распределения словарей, кодировок (RLE_DICTIONARY/PLAIN) и потенциального объема считывания данных при фильтрации. ## Как это работает - Парсер читает thrift-footer и декодирует метаданные колонок, заголовки страниц и параметры кодирования для каждой группы строк. - Вычисляются точные диапазоны zone-карт (min/max) и при наличии проверяются блоки bloom-фильтра (SBBF) через алгоритм XXH64. - Каждое переданное условие WHERE проверяется против метаданных, классифицируя статус группы строк: обрезано zone-картой, обрезано bloom-фильтром или полное сканирование. - Формируется детальный интерактивный HTML-отчет с экономией сжатого объема данных (total_compressed_size) в байтах и процентах. ## Сценарии использования - Анализ структуры Parquet-файлов перед деплоем ETL-процессов в хранилища DuckDB, ClickHouse или Spark. - Диагностика медленных запросов из-за отсутствия bloom-фильтров по колонкам с высокой кардинальностью (UUID, ID заказов). - Проверка эффективности сортировки данных и ее влияния на диапазонную обрезку через zone maps. ## Частые вопросы ### Какие операторы предикатов поддерживаются для анализа? Поддерживаются операторы =, !=, <, <=, >, >=, а также диапазоны BETWEEN a AND b и списки IN (x, y). ### Как рассчитывается экономия байтов при пропуске данных? Экономия рассчитывается суммированием total_compressed_size тех групп строк и колонок, чтение которых исключается благодаря фильтрам. ### Поддерживаются ли bloom-фильтры формата Parquet? Да, инструмент выполняет нативную проверку Split-Block Bloom Filter (SBBF) с использованием хеш-функции XXH64. ### Какой максимальный размер Parquet-файла можно загрузить? Максимальный поддерживаемый размер файла составляет 100 МБ (104 857 600 байт). ### Что означает статус «сканирование» (scan) в отчете? Статус сканирования означает, что min/max статистика и bloom-фильтр не смогли исключить группу строк, и движку придется прочитать эти данные. ## Связанные инструменты - [Компоновщик сетки шаблонов для соцсетей](https://elysiatools.com/ru/tools/social-media-template-resize-grid): Загрузите одно мастер-изображение и получите полный комплект: Instagram (1:1 / 4:5 / 3:4 для сетки / Story / Reel), X (хедер 1500×500 / лента), LinkedIn (личный баннер / обложка компании / картинка поста), YouTube (превью / баннер канала) и ссылку Facebook. Каждый кроп показывается с проверенной 2025-2026 маской безопасной зоны (поля Story, круг аватара X, зона аватара LinkedIn, плашка длительности YouTube) и всё уезжает в ZIP. - [Тональное преобразование HDR AVIF в SDR PNG](https://elysiatools.com/ru/tools/hdr-avif-to-sdr-png): Декодирует PQ или HLG AVIF, преобразует BT.2020 в sRGB и отображает света в SDR PNG. - [Массовое сжатие изображений](https://elysiatools.com/ru/tools/batch-compress): Сжатие нескольких изображений с контролем качества и оптимизацией размера - [Генератор Data URI](https://elysiatools.com/ru/tools/data-uri-generator): Преобразует файлы в Data URI (Base64 или процентное кодирование) для встраивания изображений, шрифтов и ресурсов прямо в HTML, CSS или Markdown - [Пакетная Обрезка Изображений](https://elysiatools.com/ru/tools/image-batch-crop): Пакетная обрезка нескольких изображений до определенных размеров или соотношения сторон с настраиваемым позиционированием. Возвращает обрезанные изображения в виде ZIP-архива. - [Анализатор Корреляции](https://elysiatools.com/ru/tools/correlation-analyzer): Продвинутый инструмент корреляционного анализа, который вычисляет коэффициенты корреляции между переменными для измерения силы и направления их линейных отношений. Идеально подходит для статистического анализа, финансового моделирования, научных исследований и исследования данных. Возможности: - Множественные методы корреляции (Пирсон, Спирмен, Кендалл) - Генерация корреляционной матрицы - Статистическая проверка значимости (p-значения) - Расчет доверительных интервалов - Визуализация тепловой карты - Генерация матрицы диаграмм рассеяния - Стратегии обработки пропущенных значений - Обнаружение и обработка выбросов - Возможности группового анализа - Подробные статистические отчеты Общие случаи использования: - Финансовый рыночный анализ и оценка рисков - Научные исследования и проверка гипотез - Анализ поведения клиентов и маркетинг - Анализ медицинских и медицинских данных - Контроль качества и оптимизация процессов - Оценка образовательной эффективности - [Адаптивный скрытый водяной знак в 12 точках](https://elysiatools.com/ru/tools/adaptive-12-point-hidden-watermark): Добавляет ненавязчивый текстовый водяной знак к одному изображению или ко всем поддерживаемым изображениям в ZIP, во все, случайные или выбранные точки по периметру и автоматически подбирает светлый или тёмный контраст. - [Конвертер AVIF в TIFF](https://elysiatools.com/ru/tools/avif-to-tiff): Преобразование AVIF изображений в формат TIFF с качеством без потерь, опциями сжатия и профессиональными рабочими процессами ## Примеры - [Примеры прунинга Parquet](https://elysiatools.com/ru/samples/parquet-pruning-samples): Parquet-фикстуры для проверки оценщика прунинга по bloom-фильтрам, картам зон и словарям - [Примеры Обработки Изображений Android Java](https://elysiatools.com/ru/samples/android-image-processing-java): Примеры обработки изображений Android Java включая чтение/сохранение, масштабирование и преобразование формата - [Примеры Обработки Изображений Android Kotlin](https://elysiatools.com/ru/samples/android-image-processing-kotlin): Примеры обработки изображений Android Kotlin включая чтение/сохранение, масштабирование и преобразование формата - [Примеры Обработки Изображений Web Python](https://elysiatools.com/ru/samples/web-image-processing-python): Примеры обработки изображений Web Python используя PIL/Pillow включая чтение, сохранение, изменение размера и преобразование формата