1. Vergleich von drei Chunk-Größen für technische Dokumente
AI EngineerHintergrund
Ein Entwickler möchte ein technisches Handbuch über RAG-Systeme indizieren und sucht die beste Balance zwischen Kontextgröße und Präzision.
Aufgabe
Es ist unklar, ob 256, 512 oder 1024 Tokens mit einer Überlappung von 12,5 % die beste Abdeckung und Kohärenz bieten.
Verwendung
Fügen Sie den Text in das Dokumentenfeld ein, wählen Sie 'Tokens' als Einheit und 'Satzweise' als Methode. Setzen Sie Schema A auf 256/32, Schema B auf 512/64 und Schema C auf 1024/128.
{
"document": "Retrieval-augmented generation combines a retriever and a language model. The retriever finds relevant passages in a knowledge base. Chunking strategy strongly affects retrieval quality. Smaller chunks are precise but lose context. Larger chunks carry context but dilute relevance. Overlap between chunks preserves context across boundaries. Evaluate several schemes before indexing.",
"unit": "tokens",
"method": "sentence",
"sizeA": 256,
"overlapA": 32,
"sizeB": 512,
"overlapB": 64,
"sizeC": 1024,
"overlapC": 128,
"renderMode": "comparison",
"precision": 1
}Ergebnis
Das Tool vergleicht die drei Schemata und empfiehlt das Schema mit der besten Balance aus Kohärenz und Konsistenz in einer übersichtlichen Scorecard.