Entfernt doppelte Zeilen aus einer Liste oder einem Textblock und meldet, wie viele entfernt wurden. Nützlich zum Bereinigen von CSVs, Logs, URL-Listen, Keyword-Dumps und überall, wo sich Wiederholungen einschleichen.
Behalten-Modus:
- Erstes Vorkommen — wenn eine Zeile mehrfach erscheint, wird die erste Kopie behalten und spätere entfernt. Die übliche Wahl: sie erhält die ursprüngliche Reihenfolge von oben nach unten, die Sie eingefügt haben.
- Letztes Vorkommen — stattdessen wird die letzte Kopie behalten. Praktisch, wenn der neueste Eintrag der vertrauenswürdige ist (z. B. ein Log, in dem die letzte Zeile frühere ablöst).
Vergleichsoptionen:
- Groß-/Kleinschreibung (standardmäßig an) — behandelt
Apple und apple als verschiedene Zeilen. Schalten Sie es aus, um sie als Duplikate zu betrachten.
- Leerzeichen vor dem Vergleichen trimmen — entfernt führende/nachfolgende Leerzeichen und Tabulatoren jeder Zeile, bevor entschieden wird, ob zwei Zeilen gleich sind, sodass
hello und hello als dieselbe Zeile gelten. (Trimmen dient nur dem Vergleich; die ursprünglichen Leerzeichen der behaltenen Zeilen bleiben in der Ausgabe erhalten.)
- Leere Zeilen ignorieren — leere Zeilen (ohne Zeichen oder nur Leerzeichen) werden ganz verworfen, statt zu einer zusammengefasst.
Gut zu wissen:
- Vergleich nur der gesamten Zeile — dieses Tool dedupliziert keine einzelnen Wörter oder Felder innerhalb einer Zeile.
- Die Zähler in den Metadaten nennen Ihnen die ursprüngliche Zeilenanzahl, die behaltene Anzahl und genau, wie viele Duplikate entfernt wurden.