Какие операторы предикатов поддерживаются для анализа?

Поддерживаются операторы =, !=, , >=, а также диапазоны BETWEEN a AND b и списки IN (x, y).

Как рассчитывается экономия байтов при пропуске данных?

Экономия рассчитывается суммированием total_compressed_size тех групп строк и колонок, чтение которых исключается благодаря фильтрам.

Поддерживаются ли bloom-фильтры формата Parquet?

Да, инструмент выполняет нативную проверку Split-Block Bloom Filter (SBBF) с использованием хеш-функции XXH64.

Какой максимальный размер Parquet-файла можно загрузить?

Максимальный поддерживаемый размер файла составляет 100 МБ (104 857 600 байт).

Что означает статус «сканирование» (scan) в отчете?

Статус сканирования означает, что min/max статистика и bloom-фильтр не смогли исключить группу строк, и движку придется прочитать эти данные.

Elysia Tools

Навигация

Data Analysis

Оценщик обрезки Parquet по bloom-фильтрам, zone-картам, словарям и статистике колонок

Декодирует thrift-footer Parquet и количественно оценивает обрезку predicate pushdown: min/max zone-карт, split-block bloom-фильтры (XXH64), доли словарей и кодировки, с оценками экономии по группам строк для примерных предложений WHERE.

Детали

С чем помогает этот инструмент

Самописный ридер thrift compact декодирует footer и обходит каждую заголовок страницы; статистика превращается в настоящие zone-карты; проверка bloom выполняет реальную арифметику XXH64 + SBBF; предикаты (=, !=, <, <=, >, >=, BETWEEN, IN) по каждой группе строк классифицируются как обрезано-картой, обрезано-bloom или сканирование с байтовой стоимостью из totalcompressedsize.

Запуск

Запустить этот инструмент

Заполните форму, запустите инструмент и посмотрите результат на этой же странице.

Примеры

Примеры для этого инструмента

Связано

Оценщик обрезки Parquet по bloom-фильтрам, zone-картам, словарям и статистике колонок

С чем помогает этот инструмент

Запустить этот инструмент

Примеры для этого инструмента

Продолжить с похожими инструментами и темами

Узнайте, когда использовать этот инструмент, что он поддерживает и как его применяют пользователи.

Ключевые факты

Обзор

Когда использовать

Как это работает

Сценарии использования

Примеры

1. Оценка обрезки по числовым и строковым предикатам

2. Аудит словарного кодирования и zone map без bloom-фильтров

FAQ

Примеры прунинга Parquet

Примеры Обработки Изображений Android Java

Примеры Обработки Изображений Android Kotlin

Примеры Обработки Изображений Web Python

Компоновщик сетки шаблонов для соцсетей

Тональное преобразование HDR AVIF в SDR PNG

Массовое сжатие изображений

Генератор Data URI