1. Comparación de tamaños de chunk para documentación técnica
Ingeniero de IAContexto
Un ingeniero necesita indexar un manual técnico en una base de datos vectorial y quiere determinar si un tamaño de chunk pequeño conserva suficiente contexto.
Problema
Decidir entre chunks de 256, 512 o 1024 tokens con un solape del 12.5% utilizando división por frases.
Cómo usarlo
Pegó el texto del manual en el campo de documento, seleccionó la unidad 'Tokens (≈)', el método 'Por frases', y configuró los esquemas A (256/32), B (512/64) y C (1024/128).
{
"unit": "tokens",
"method": "sentence",
"sizeA": 256,
"overlapA": 32,
"sizeB": 512,
"overlapB": 64,
"sizeC": 1024,
"overlapC": 128
}Resultado
El sistema recomendó el esquema B (512 tokens) debido a un mejor equilibrio entre la cobertura temática y la consistencia de tamaño, mostrando los límites de corte exactos.