# Parquet-Bloom-Filter-ZoneMap-Wörterbuch- und Spaltenstatistik-Pruning-Bewerter Dekodiert den Parquet-Thrift-Footer und quantifiziert Predicate-Pushdown-Pruning: Zone-Map-Min/Max, Split-Block-Bloomfilter (XXH64), Wörterbuchverhältnisse und Encodings, mit Pruning-Einsparungen je Zeilengruppe für Beispiel-WHERE-Klauseln. > Kanonische Seite: https://elysiatools.com/de/tools/parquet-bloom-filter-zonemap-dictionary-and-column-statistics-pruner-evaluator - **Kategorie:** Data Analysis - **Schlagwörter:** parquet pruning, parquet bloomfilter, zone map, predicate pushdown, zeilengruppen überspringen, wörterbuch-verhältnis, parquet statistiken, thrift footer parser ## Überblick Ein handgeschriebener Thrift-Compact-Reader dekodiert den Footer und läuft über jeden Page-Header; Statistiken werden zu echten Zone-Maps dekodiert; die Bloom-Mitgliedschaft führt die echte XXH64- + SBBF-Arithmetik aus; Prädikate (=, !=, <, <=, >, >=, BETWEEN, IN) werden je Zeilengruppe als durch-Zone-Map-geprunt, durch-Bloom-geprunt oder Scan eingestuft, mit Bytekosten aus total_compressed_size. ## Eingaben - **Parquet-Datei** (file): Upload a .parquet file - **WHERE-Klauseln (eine pro Zeile)** (textarea): id = 75 id > 60 name = 'zeta' Supports =, !=, <, <=, >, >=, BETWEEN a AND b, IN (x, y) ## Wann verwenden - Vor dem Deployment von Parquet-Pipelines zur Validierung von Min/Max-Statistiken und Split-Block-Bloomfiltern. - Zur Ursachenanalyse langsamer Abfragen in Data-Lakehouse-Engines wie DuckDB, Spark oder Trino. - Zur Optimierung von Sortierreihenfolgen und Partitionierungsstrategien anhand realer WHERE-Filter. ## Funktionsweise - Der Thrift-Compact-Reader liest den Dateifooter ein und extrahiert Page-Header, Kompressionsgrößen sowie Spaltenstatistiken. - Eingegebene SQL-Prädikate (=, !=, <, <=, >, >=, BETWEEN, IN) werden gegen die decodierten Zone-Map-Grenzwerte jeder Zeilengruppe abgeglichen. - Gleichheitsfilter führen die XXH64- und Split-Block-Bloomfilter-Berechnung aus, um die Mitgliedschaft in Spalten-Chunks zu verifizieren. - Das Tool generiert einen HTML-Report mit Kennzeichnung als Zone-Map-Pruning, Bloom-Pruning oder Scan inklusive der prozentualen Byte-Einsparung. ## Anwendungsfälle - Prüfung der Wirksamkeit von Parquet-Bloomfiltern bei IDs oder UUIDs mit hoher Kardinalität. - Messung der Datenreduktion durch Min/Max-Zone-Maps bei chronologisch oder numerisch sortierten Datensätzen. - Benchmarking von Wörterbuch- und RLE-Kodierungsverhältnissen vor dem Schreiben großer Datenmengen. ## Häufig gestellte Fragen ### Welche Prädikate werden für die Pruning-Berechnung unterstützt? Unterstützt werden Gleichheit (=), Ungleichheit (!=), Vergleichsoperatoren (<, <=, >, >=), BETWEEN sowie IN-Listen. ### Wie wird die Bloomfilter-Prüfung durchgeführt? Die Prüfung nutzt native XXH64-Hashwerte und die Parquet-Split-Block-Bloomfilter-Arithmetik (SBBF) der Spalten-Chunks. ### Welche Dateiformate und Größenlimits gelten? Es werden .parquet- und .pq-Dateien bis zu einer Größe von 100 MB unterstützt. ### Werden Daten während der Analyse auf einen Server übertragen? Die Auswertung erfolgt direkt im Browser über das Decodieren des Thrift-Footers ohne externe Speicherung. ### Was bedeutet ein 'Scan' im generierten Bericht? Ein Scan tritt auf, wenn weder Zone-Maps noch Bloomfilter beweisen können, dass der gesuchte Wert in der Zeilengruppe fehlt. ## Ähnliche Tools - [Social-Media-Vorlagen-Raster-Composer](https://elysiatools.com/de/tools/social-media-template-resize-grid): Lade ein Master-Bild hoch und erhalte das komplette Kit: Instagram (1:1 / 4:5 / 3:4 fürs Grid / Story / Reel), X (Header 1500×500 / Feed), LinkedIn (persönliches Banner / Firmencover / Post-Bild), YouTube (Thumbnail / Kanalbanner) und Facebook-Link. Jeder Zuschnitt wird mit seiner 2025-2026 verifizierten Safe-Zone-Maske angezeigt (Story-Ränder, X-Avatar-Kreis, LinkedIn-Avatar-Zone, YouTube-Dauer-Badge) und alles geht als ZIP raus. - [HDR-AVIF-zu-SDR-PNG-Tonemapper](https://elysiatools.com/de/tools/hdr-avif-to-sdr-png): Dekodiert PQ- oder HLG-AVIF, konvertiert BT.2020 nach sRGB und bildet Lichter in SDR-PNG ab. - [Batch-Bildkompression](https://elysiatools.com/de/tools/batch-compress): Mehrere Bilder mit Qualitätskontrolle und Größenoptimierung komprimieren - [Data-URI-Generator](https://elysiatools.com/de/tools/data-uri-generator): Konvertiert Dateien in Data URIs (Base64 oder prozent-kodiert), um Bilder, Schriftarten und Ressourcen direkt in HTML, CSS oder Markdown einzubetten - [Batch-Bild-Zuschneiden](https://elysiatools.com/de/tools/image-batch-crop): Mehrere Bilder auf bestimmte Abmessungen oder Seitenverhältnisse mit benutzerdefinierter Positionierung zuschneiden. Gibt zugeschnittene Bilder als ZIP-Download zurück. - [Korrelationsanalyse](https://elysiatools.com/de/tools/correlation-analyzer): Fortschrittetes Korrelationsanalyse-Werkzeug zur Berechnung von Korrelationskoeffizienten zwischen Variablen zur Messung der Stärke und Richtung ihrer linearen Beziehungen. - [Adaptives dezentes 12-Punkt-Wasserzeichen](https://elysiatools.com/de/tools/adaptive-12-point-hidden-watermark): Fügt einem Bild oder jedem unterstützten Bild in einem ZIP ein dezentes Textwasserzeichen an allen, zufälligen oder ausgewählten Randpunkten hinzu und wählt je nach lokalem Hintergrund automatisch hellen oder dunklen Kontrast. - [AVIF zu TIFF Konverter](https://elysiatools.com/de/tools/avif-to-tiff): AVIF-Bilder in TIFF-Format konvertieren mit verlustfreier Qualität, Kompressionsoptionen und professionellen Workflows ## Beispiele - [Parquet-Pruning-Beispiele](https://elysiatools.com/de/samples/parquet-pruning-samples): Parquet-Fixtures, die den Pruning-Evaluator für Bloomfilter, Zonenkarten und Wörterbücher testen - [Android Java Bildverarbeitungsbeispiele](https://elysiatools.com/de/samples/android-image-processing-java): Android Java Bildverarbeitungsbeispiele einschließlich Lesen/Schreiben, Skalierung und Formatkonvertierung - [Android Kotlin Bildverarbeitungsbeispiele](https://elysiatools.com/de/samples/android-image-processing-kotlin): Android Kotlin Bildverarbeitungsbeispiele einschließlich Lesen/Schreiben, Skalierung und Formatkonvertierung - [Web Python Bildverarbeitung Beispiele](https://elysiatools.com/de/samples/web-image-processing-python): Web Python Bildverarbeitungsbeispiele mit PIL/Pillow einschließlich Lesen, Speichern, Skalieren und Formatkonvertierung