# Deduplicador de Dados CSV Remove registros duplicados baseados em combinações de colunas > Página canônica: https://elysiatools.com/pt/tools/data-deduplicator - **Categoria:** Data Processing - **Palavras-chave:** dados, deduplicação, duplicados, limpeza, csv, remover, filtrar, único ## Visão geral O Deduplicador de Dados CSV é uma ferramenta eficiente projetada para limpar seus conjuntos de dados, identificando e removendo registros duplicados com base em combinações específicas de colunas para garantir a integridade e a unicidade das suas informações. ## Entradas - **Dados CSV de Entrada** (textarea): nome,email,telefone João Silva,joao@example.com,123-456-7890 Maria Santos,maria@example.com,123-456-7890 - **Colunas de Deduplicação** (textarea): email, phone ou name, email - **Estratégia de Deduplicação** (select) - **Habilitar Correspondência Difusa** (checkbox) - **Limiar de Correspondência Difusa (0-100)** (range) - **Correspondência Sensível a Maiúsculas** (checkbox) - **Remover Espaços em Branco** (checkbox) - **Preservar Ordem Original** (checkbox) ## Quando usar - Ao consolidar listas de contatos ou clientes provenientes de múltiplas fontes. - Ao preparar arquivos CSV para importação em sistemas de CRM ou bancos de dados. - Ao realizar a limpeza de grandes volumes de dados para eliminar redundâncias. ## Como funciona - Cole seus dados CSV na área de entrada e especifique as colunas que definem a duplicidade. - Escolha uma estratégia de retenção, como manter o primeiro, o último ou o registro mais completo. - Ajuste opções adicionais, como correspondência difusa ou sensibilidade a maiúsculas, para refinar o resultado. - Clique em processar para gerar um arquivo limpo, mantendo a ordem original dos dados conforme configurado. ## Casos de uso - Limpeza de listas de e-mail marketing para evitar envios repetidos. - Unificação de cadastros de produtos em inventários de e-commerce. - Processamento de logs de sistema para remover entradas redundantes de eventos. ## Perguntas frequentes ### Como o sistema identifica o que é um duplicado? O sistema compara os valores nas colunas selecionadas. Se os valores forem idênticos (ou similares, se a correspondência difusa estiver ativa), o registro é considerado duplicado. ### Posso manter o registro mais completo? Sim, ao selecionar a estratégia 'Manter Registro Mais Completo', a ferramenta prioriza a linha que contém o maior número de campos preenchidos. ### A ferramenta diferencia maiúsculas de minúsculas? Sim, você pode ativar a opção 'Correspondência Sensível a Maiúsculas' para tratar 'Exemplo' e 'exemplo' como valores distintos. ### O que é a correspondência difusa? É um recurso que identifica registros que são quase idênticos, corrigindo pequenas variações de digitação ou erros ortográficos com base em um limiar de similaridade. ### A ordem original dos meus dados será alterada? Por padrão, a ferramenta preserva a ordem original dos registros, mantendo apenas a primeira ocorrência encontrada de cada duplicata. ## Ferramentas relacionadas - [Processador de Limites de Dados](https://elysiatools.com/pt/tools/data-boundary-processor): Ferramenta avançada de processamento de limites que identifica e gerencia valores mínimos e máximos em dados numéricos. Perfeita para validação de dados, verificação de intervalos, análise estatística e pré-processamento de dados. - [Limitador de Faixa de Dados](https://elysiatools.com/pt/tools/data-range-limiter): Limitar valores numéricos a faixas específicas através de recorte, filtragem ou marcação de valores fora da faixa. Perfeito para controle de qualidade de dados, limpeza de sensores, execução de regras de negócio e pré-processamento de dados. Recursos: - Recorte de faixa (recorta valores para limites mínimo/máximo) - Filtragem de faixa (remove linhas fora dos limites) - Marcação de faixa (marca valores modificados) - Configuração de faixa por coluna - Detecção automática de colunas numéricas - Múltiplas estratégias de processamento - Relatório detalhado de modificações - Análise estatística de alterações - Execução de regras de negócio Casos de Uso Comuns: - Validação e limpeza de dados de sensores - Preparação de entrada para machine learning - Controle e validação de qualidade de dados - Execução de restrições de negócio - Gerenciamento e controle de valores anômalos - Pipelines de pré-processamento de dados - [Normalizador Z-Score](https://elysiatools.com/pt/tools/data-zscore-normalizer): Normalizar dados numéricos usando Z-Score (pontuação padrão) para transformar valores com média=0 e desvio padrão=1. Perfeito para análise estatística, pré-processamento de machine learning, detecção de anomalias e comparação de dados em diferentes escalas. Recursos: - Normalização Z-Score (média=0, desvio padrão=1) - Opção de Z-Score Robusto (usando mediana e MAD) - Escalonamento personalizado para faixa alvo - Seleção de múltiplas colunas - Detecção automática de tipo de dados - Processamento inteligente de valores ausentes - Preservação de colunas não numéricas - Resumo estatístico abrangente - Detecção e relatório de anomalias Casos de Uso Comuns: - Preparação de características para machine learning - Testes de hipóteses estatísticas - Detecção e remoção de anomalias - Comparação de dados em diferentes unidades - Pré-processamento para Análise de Componentes Principais (PCA) - [Removedor de Colunas Duplicadas](https://elysiatools.com/pt/tools/duplicate-column-remover): Remover colunas duplicadas de dados CSV com estratégias flexíveis de detecção. Perfeito para limpar conjuntos de dados, remover informações redundantes e otimizar a estrutura de dados. - [Removedor de Caracteres BOM](https://elysiatools.com/pt/tools/data-bom-remover): Remover caracteres BOM (Byte Order Mark) de conteúdo de texto e arquivos. Perfeito para limpar arquivos de texto com problemas de codificação. - [Processador de Outliers de Dados](https://elysiatools.com/pt/tools/data-outlier-processor): Ferramenta avançada de detecção e processamento de outliers que identifica, remove ou substitui valores anômalos em dados numéricos usando múltiplos métodos estatísticos. Perfeita para limpeza de dados, análise estatística e preparação de dados para machine learning. Recursos: - Múltiplos métodos de detecção (IQR, Z-score, Z-score modificado, Isolation Forest) - Estratégias flexíveis de manejo (Remover, Substituir por média/mediana/moda, Limitar) - Otimização automática de limiares - Detecção de outliers multidimensional - Estatísticas e relatórios visuais de outliers - Capacidades de processamento em lote - Níveis de sensibilidade personalizáveis - Análise de impacto abrangente Casos de Uso Comuns: - Limpeza e pré-processamento de dados - Preparação para análise estatística - Limpeza de conjuntos de dados para machine learning - Controle de qualidade na manufatura - Detecção de anomalias financeiras - Validação de dados de sensores - [Removedor de Cabeçalhos](https://elysiatools.com/pt/tools/header-remover): Remover cabeçalhos de dados CSV para criar arquivos limpos sem cabeçalhos. Perfeito para importações de banco de dados, pipelines de processamento de dados. - [Limpeza de Dados](https://elysiatools.com/pt/tools/data-cleaner): Limpar e padronizar dados corrigindo erros de ortografia, padronizando formatos, removendo duplicatas e preenchendo valores ausentes ## Exemplos - [Exemplos CSV](https://elysiatools.com/pt/samples/csv-samples): Arquivos CSV de exemplo com vários tipos de dados, tamanhos e níveis de complexidade - [Exemplos Python](https://elysiatools.com/pt/samples/python): Exemplos de código Python e demonstrações Hello World - [Processamento de Strings Windows - Exemplos C#](https://elysiatools.com/pt/samples/windows-string-processing-csharp): Exemplos abrangentes de processamento de strings C# para plataforma Windows incluindo manipulação, divisão, junção, expressões regulares e análise de texto - [Exemplos de Comunicação em Tempo Real WebRTC](https://elysiatools.com/pt/samples/webrtc-samples): Exemplos completos WebRTC para comunicação áudio/vídeo P2P, canais de dados, compartilhamento de tela e servidor de sinalização ## Conteúdo relacionado - [Fluxos de qualidade de dados e investigacao de anomalias](https://elysiatools.com/pt/hubs/data-quality-anomaly-workflows): Perfilhe dados tabulares, isole duplicatas, faltas, quebras referenciais, outliers e anomalias temporais e transforme os achados em evidencia de qualidade.