1. Comparação de Tamanhos de Chunk para Documentação de API
Engenheiro de IAContexto
Um engenheiro precisa indexar a documentação técnica de uma API REST em um banco de dados vetorial para alimentar um assistente de código.
Problema
Determinar se chunks menores de 256 tokens ou maiores de 512 tokens oferecem melhor preservação de contexto sem fragmentar exemplos de código.
Como usar
Cole o guia de referência da API no campo de texto, selecione a unidade como 'Tokens' e o método 'Por frases'. Configure o Esquema A com tamanho 256 (sobreposição 32) e o Esquema B com tamanho 512 (sobreposição 64).
{
"unit": "tokens",
"method": "sentence",
"sizeA": 256,
"overlapA": 32,
"sizeB": 512,
"overlapB": 64,
"sizeC": 1024,
"overlapC": 128
}Resultado
O scorecard indicou que o Esquema B (512 tokens) obteve maior pontuação de coerência e cobertura, mantendo os blocos de código inteiros dentro do mesmo chunk.