Elysia Tools
导航
Data Analysis
解码 Parquet thrift footer 并量化谓词下推剪枝：区间图 min/max、split-block 布隆过滤器（XXH64）、字典比率与编码，按行组给出示例 WHERE 子句的剪枝节省估算。
详情
手写 thrift compact 协议读取器解码 footer 并遍历每个页头；统计解码为真实区间图；布隆成员判定执行真正的 XXH64 + SBBF 运算；谓词（=、!=、<、<=、>、>=、BETWEEN、IN）按行组判为区间图剪枝、布隆剪枝或需扫描，字节成本取 totalcompressedsize。
执行
填写表单、运行工具，并在同一页面查看结果。
案例
相关内容
工具使用指南
Parquet 布隆过滤器/区间图/字典与列统计剪枝评估器可直接解析 Parquet 文件的 Thrift Compact Footer 与各页头元数据，量化区间图（Zone Map min/max）、Split-Block 布隆过滤器（XXH64 算法）及字典编码在实际查询中的谓词下推剪枝效果，并按行组输出字节节省报告。
背景
工程师构建了包含 100 行数据、分属两个 Row Group 的订单夹具文件，已为 id 列生成 SBBF 布隆过滤器并为 name 列建立字典。
问题
验证查询引擎在执行点查和范围过滤时，各行组是否能被精准跳过以减少 I/O。
如何使用
上传 `pruning-bloom-sample.parquet`，在 WHERE 子句中输入 `id = 75`、`id > 60` 和 `name = 'zeta'` 进行评估。
id = 75
id > 60
name = 'zeta'结果
报告显示 `id = 75` 命中区间图跳过 Row Group 0；`id > 60` 节省 50% 读取字节；`name = 'zeta'` 通过布隆过滤器成功剪枝全部行组实现 100% 节省。
背景
通过 parquet-cpp-arrow 导出了包含产品名字典编码与 PLAIN 区间图的单行组文件。
问题
确认针对不存在商品的等值点查是否会产生多余扫描。
如何使用
上传 `sample.parquet` 并输入谓词 `product = 'Keyboard'` 提交分析。
product = 'Keyboard'结果
报表解码了 `[Headphones, Mouse]` 的区间图，因目标值落在极值范围内且未生成布隆过滤器，明确标出需扫描该数据块并提示缺少布隆过滤元数据。
支持评估 =、!=、<、<=、>、>=、BETWEEN ... AND ... 以及 IN (...) 谓词。
若文件在写入时未开启布隆过滤器，或目标值经 XXH64 散列后命中了布隆过滤器，工具将退化为依靠区间图判定或标记为需扫描。
单文件体积上限为 100MB（104,857,600 字节）。
解析与哈希判定完全在前端读取器处理，仅用于生成评估报表，不作持久化存储。
基于被剪枝跳过的行组中各列块的 total_compressed_size 累计值与文件总压缩体积比对得出。