# Avaliador de poda Parquet por filtros bloom, mapas de zonas, dicionários e estatísticas de colunas Decodifica o footer thrift do Parquet e quantifica a poda por predicate pushdown: min/max dos mapas de zonas, filtros bloom split-block (XXH64), razões de dicionário e codificações, com estimativas de economia por grupo de linhas para cláusulas WHERE de exemplo. > Página canônica: https://elysiatools.com/pt/tools/parquet-bloom-filter-zonemap-dictionary-and-column-statistics-pruner-evaluator - **Categoria:** Data Analysis - **Palavras-chave:** poda parquet, filtro bloom parquet, mapa de zonas, predicate pushdown, salto de grupos de linhas, razão de dicionário, estatísticas parquet, parser thrift footer ## Visão geral Um leitor thrift compact escrito à mão decodifica o footer e percorre cada cabeçalho de página; as estatísticas viram mapas de zonas reais; a pertinência bloom executa a aritmética real XXH64 + SBBF; os predicados (=, !=, <, <=, >, >=, BETWEEN, IN) são classificados por grupo de linhas como podado-por-mapa, podado-por-bloom ou varredura, com custos em bytes de total_compressed_size. ## Entradas - **Arquivo Parquet** (file): Upload a .parquet file - **Cláusulas WHERE (uma por linha)** (textarea): id = 75 id > 60 name = 'zeta' Supports =, !=, <, <=, >, >=, BETWEEN a AND b, IN (x, y) ## Quando usar - Ao depurar consultas lentas em motores analíticos (como DuckDB, Spark ou Trino) para verificar se o predicate pushdown está realmente ignorando grupos de linhas. - Ao projetar pipelines de ingestão e validar se a ordenação dos dados, o tamanho dos grupos de linhas ou a criação de filtros bloom estão otimizados. - Ao auditar a eficiência de armazenamento de arquivos Parquet, inspecionando codificações RLE/Dictionary e taxas de compressão de metadados. ## Como funciona - O analisador lê o rodapé Thrift Compact do arquivo Parquet enviado para extrair metadados globais, esquemas de colunas e cabeçalhos de páginas. - As estatísticas de cada grupo de linhas são convertidas em mapas de zonas com limites mínimos e máximos, e as estruturas de filtros bloom SBBF são carregadas para teste de pertinência via hash XXH64. - As cláusulas WHERE fornecidas são avaliadas contra cada grupo de linhas, classificando-os individualmente como podados por mapa de zonas, podados por filtro bloom ou sujeitos a varredura completa. - Um relatório HTML detalhado é gerado com a estimativa percentual e em bytes de dados economizados (baseado em total_compressed_size) para cada predicado. ## Casos de uso - Auditar a eficácia de filtros bloom configurados em colunas com alta cardinalidade para acelerar buscas pontuais de IDs. - Validar se a ordenação temporal ou numérica dos dados está proporcionando mapas de zonas eficazes para eliminar a leitura da maioria dos row groups. - Inspecionar a presença e o aproveitamento de páginas de dicionário e esquemas de codificação RLE em arquivos gerados por bibliotecas como Arrow e Fastparquet. ## Perguntas frequentes ### Quais operadores lógicos são suportados nas cláusulas WHERE? A ferramenta suporta comparações com =, !=, <, <=, >, >=, além de intervalos BETWEEN a AND b e listas de pertinência IN (x, y). ### Como os filtros bloom são avaliados no arquivo? A ferramenta executa o algoritmo Split Block Bloom Filter (SBBF) padrão do Parquet utilizando hash XXH64 para determinar se uma chave de busca definitivamente não existe no grupo. ### O que acontece se o arquivo Parquet não tiver filtros bloom gravados? A avaliação de poda recorrerá exclusivamente aos mapas de zonas (estatísticas min/max) e indicará no relatório a ausência dos filtros bloom para verificação de ausência exata. ### Os dados brutos do arquivo são processados ou transferidos externamente? O processamento ocorre localmente inspecionando apenas os metadados Thrift, cabeçalhos de páginas e blocos de filtros bloom necessários para a validação. ### Qual é o limite de tamanho de arquivo aceito pela ferramenta? A interface suporta arquivos Parquet de até 100 MB (104.857.600 bytes). ## Ferramentas relacionadas - [Compositor de grade de templates para redes sociais](https://elysiatools.com/pt/tools/social-media-template-resize-grid): Envie uma imagem mestra e receba o kit completo: Instagram (1:1 / 4:5 / 3:4 para o grid / Story / Reel), X (cabeçalho 1500×500 / feed), LinkedIn (banner pessoal / capa de empresa / imagem de post), YouTube (miniatura / banner do canal) e link do Facebook. Cada corte é pré-visualizado com sua máscara de zona segura verificada 2025-2026 (margens de Story, círculo de avatar do X, zona de avatar do LinkedIn, badge de duração do YouTube) e tudo sai em ZIP. - [Mapeador HDR AVIF para PNG SDR](https://elysiatools.com/pt/tools/hdr-avif-to-sdr-png): Decodifica AVIF PQ ou HLG, converte BT.2020 para sRGB e mapeia realces para PNG SDR. - [Compressão de Imagens em Lote](https://elysiatools.com/pt/tools/batch-compress): Comprimir múltiplas imagens com controle de qualidade e otimização de tamanho - [Gerador de Data URI](https://elysiatools.com/pt/tools/data-uri-generator): Converte arquivos em Data URIs (Base64 ou porcentagem-codificada) para incorporar imagens, fontes e recursos diretamente em HTML, CSS ou Markdown - [Corte de Imagens em Lote](https://elysiatools.com/pt/tools/image-batch-crop): Cortar múltiplas imagens para dimensões específicas ou proporção de aspecto com posicionamento personalizado. Retorna imagens cortadas como download ZIP. - [Analisador de Correlação](https://elysiatools.com/pt/tools/correlation-analyzer): Ferramenta avançada de análise de correlação que calcula coeficientes de correlação entre variáveis para medir a força e direção de suas relações lineares. Perfeito para análise estatística, modelagem financeira, pesquisa científica e exploração de dados. Recursos: - Múltiplos métodos de correlação (Pearson, Spearman, Kendall) - Geração de matriz de correlação - Teste de significância estatística (valores-p) - Cálculo de intervalos de confiança - Visualização de mapa de calor - Geração de matriz de gráficos de dispersão - Estratégias de tratamento de valores ausentes - Detecção e tratamento de valores atípicos - Capacidades de análise de grupo - Relatórios estatísticos detalhados Casos de Uso Comuns: - Análise de mercado financeiro e avaliação de risco - Pesquisa científica e teste de hipóteses - Análise de comportamento do cliente e marketing - Análise de dados de saúde e médicos - Controle de qualidade e otimização de processos - Avaliação de desempenho educacional - [Marca d’água discreta adaptativa de 12 pontos](https://elysiatools.com/pt/tools/adaptive-12-point-hidden-watermark): Adiciona uma marca d’água textual sutil a uma imagem ou a cada imagem compatível de um ZIP, em todas, algumas aleatórias ou posições escolhidas do perímetro, com contraste claro/escuro automático conforme o fundo local. - [Conversor AVIF para TIFF](https://elysiatools.com/pt/tools/avif-to-tiff): Converter imagens AVIF para formato TIFF com qualidade sem perda, opções de compressão e fluxos de trabalho profissionais ## Exemplos - [Exemplos de Poda de Parquet](https://elysiatools.com/pt/samples/parquet-pruning-samples): Fixtures Parquet que exercitam o avaliador de poda por filtro bloom, mapa de zonas e dicionário - [Exemplos de Processamento de Imagem Android Java](https://elysiatools.com/pt/samples/android-image-processing-java): Exemplos de processamento de imagem Android Java incluindo leitura/escrita, dimensionamento e conversão de formato - [Exemplos de Processamento de Imagem Android Kotlin](https://elysiatools.com/pt/samples/android-image-processing-kotlin): Exemplos de processamento de imagem Android Kotlin incluindo leitura/escrita, dimensionamento e conversão de formato - [Exemplos de Processamento de Imagem Web Python](https://elysiatools.com/pt/samples/web-image-processing-python): Exemplos de processamento de imagem Web Python usando PIL/Pillow incluindo leitura, salvamento, redimensionamento e conversão de formato