Remover Linhas Duplicadas

Remove as linhas duplicadas de uma lista ou bloco de texto e relata quantas foram removidas. Útil para limpar CSVs, logs, listas de URLs, despejos de palavras-chave e em qualquer lugar onde repetições se infiltram.

Modo de manutenção:

• Primeira ocorrência — quando uma linha aparece mais de uma vez, a primeira cópia é mantida e as seguintes removidas. É a escolha habitual: preserva a ordem original de cima para baixo que você colou.
• Última ocorrência — a última cópia é mantida em vez disso. Útil quando a entrada mais recente é a confiável (ex. um log em que a última linha substitui as anteriores).

Opções de comparação:

• Diferenciar maiúsculas (ativado por padrão) — trata Apple e apple como linhas diferentes. Desative para considerá-las duplicadas.
• Cortar espaços antes de comparar — remove espaços e tabulações iniciais/finais de cada linha antes de decidir se duas linhas são iguais, assim hello e hello contam como a mesma linha. (O corte serve apenas para comparação; os espaços originais das linhas mantidas são preservados na saída.)
• Ignorar linhas vazias — descarta linhas vazias (sem caracteres ou só espaços), em vez de colapsá-las em uma só.

Bom saber:

• Comparação apenas da linha inteira — esta ferramenta não deduplica palavras ou campos individuais dentro de uma linha.
• As contagens nos metadados informam a contagem original de linhas, a mantida e exatamente quantas duplicatas foram removidas.