Como limpar listas e formatar texto sem trabalho manual

O problema das listas bagunçadas

Toda lista que passa por mais de uma mão vira uma bagunça. E-mails coletados em formulários diferentes, nomes copiados de várias planilhas, produtos exportados de sistemas distintos, contatos de grupos de mensagem — em pouco tempo você tem uma lista com repetições, espaços sobrando, capitalização inconsistente e linhas vazias no meio.

Arrumar isso na mão é lento e produz erro. Existem métodos rápidos para cada tipo de sujeira, e este guia percorre os mais comuns.

Linhas duplicadas

Duplicatas aparecem por motivos variados: a mesma pessoa preencheu o formulário duas vezes, duas planilhas foram coladas uma após a outra, um sistema exportou o mesmo registro em duas categorias.

O removedor de linhas duplicadas compara linha a linha e mantém apenas a primeira ocorrência de cada uma. Mas há decisões a tomar antes de rodar qualquer limpeza.

Diferenciar maiúsculas ou não

"joao@email.com" e "Joao@Email.com" são a mesma pessoa. Como texto, porém, são strings diferentes. Se a comparação for sensível a maiúsculas, as duas sobrevivem.

Para e-mails, a recomendação é padronizar tudo em minúsculas antes de remover duplicatas. A parte do domínio é oficialmente insensível a maiúsculas, e na prática todos os provedores relevantes tratam a parte local do mesmo jeito.

Para nomes de pessoas, o julgamento é outro: "MARIA SILVA" e "Maria Silva" são a mesma pessoa, mas você pode querer manter a grafia original em vez de padronizar.

Espaços invisíveis

Este é o vilão silencioso. Uma linha com um espaço no fim é diferente da mesma linha sem ele, e o olho não vê a diferença. Depois de colar dados de PDF ou de e-mail, é comum ter espaços à direita em quase todas as linhas.

Sempre remova os espaços das pontas antes de comparar. Se a remoção de duplicatas não está pegando repetições que você vê claramente, essa é quase sempre a causa.

Linhas vazias

Colagens de planilha costumam trazer linhas em branco. Elas contam como conteúdo em muitas ferramentas e atrapalham a contagem final.

Padronizar maiúsculas e minúsculas

O conversor de maiúsculas e minúsculas cobre os formatos mais usados. Vale conhecer cada um e onde ele se aplica.

O erro do texto todo em maiúsculas

Textos longos em caixa alta são mais difíceis de ler. A razão é que reconhecemos palavras em parte pelo seu contorno — as ascendentes e descendentes das letras formam uma silhueta característica. Em maiúsculas, todas as palavras viram retângulos do mesmo formato, e o cérebro perde essa pista.

Além disso, na comunicação escrita, caixa alta é lida como grito. Para dar ênfase, negrito funciona melhor.

Títulos em português não são como em inglês

Em inglês, títulos usam Title Case: Cada Palavra Importante Com Inicial Maiúscula. Em português, a norma é bem mais econômica — apenas a primeira palavra e os nomes próprios recebem maiúscula.

Certo: "Como calcular juros compostos no Brasil" Errado: "Como Calcular Juros Compostos No Brasil"

É um dos deslizes mais comuns em textos traduzidos ou escritos por quem consome muito conteúdo em inglês.

Nomes próprios não seguem regra automática

Nenhuma conversão automática acerta todos os casos. "d'Ávila", "McDonald", "van der Berg", "de Souza" e "DiCaprio" têm padrões de capitalização próprios que qualquer algoritmo simples estraga. Depois de converter uma lista de nomes, vale uma passada de olho.

Um fluxo de limpeza que funciona

Para listas realmente bagunçadas, esta ordem evita retrabalho:

1. Remova espaços das pontas de cada linha.
2. Elimine linhas vazias.
3. Padronize a capitalização, se for o caso.
4. Remova duplicatas.
5. Ordene, se a ordem não importar.
6. Confira o total antes e depois, para ter noção de quanto foi removido.

A ordem importa: remover duplicatas antes de padronizar espaços e capitalização deixa repetições passarem.

O contador de palavras ajuda no passo final, mostrando linhas e caracteres para conferir se o resultado bate com o esperado.

Casos específicos

Listas de e-mail

• Converta tudo para minúsculas.
• Remova espaços, que são frequentes em colagens.
• Atenção a separadores: alguns sistemas exportam com ponto e vírgula, outros com vírgula, outros um por linha.
• Verifique se há endereços claramente inválidos, sem arroba ou sem ponto no domínio.

Listas de telefone

• Decida um formato e aplique a todos: com ou sem DDD, com ou sem o nono dígito, com ou sem código do país.
• Números escritos de formas diferentes não são detectados como duplicatas: (11) 99999-9999 e 11999999999 são strings distintas.
• Padronize antes de deduplicar, removendo parênteses, hífens e espaços.

Dados colados de PDF

PDFs são o pior caso. Ao colar, é comum aparecer:

• Quebras de linha no meio de frases, porque o PDF quebrou visualmente.
• Hífens de separação silábica que viraram parte da palavra.
• Números de página e cabeçalhos misturados ao conteúdo.
• Caracteres estranhos no lugar de acentos, quando a codificação difere.

Vale limpar em passadas separadas, resolvendo um tipo de problema por vez.

Dados de planilha

Ao colar de uma planilha, cada célula da linha vem separada por tabulação. Se você só quer uma coluna, copie apenas ela na origem — separar depois dá muito mais trabalho.

Cuidado com dados pessoais

Listas de e-mail, telefone e nome são dados pessoais e estão sob a LGPD. Antes de processar uma lista dessas, vale lembrar:

• Você precisa de base legal para tratar esses dados — consentimento, execução de contrato, legítimo interesse ou outra hipótese prevista.
• Enviar mensagem em massa para uma lista comprada ou coletada sem autorização é irregular, além de ineficaz.
• Guarde apenas o necessário e pelo tempo necessário.

Ferramentas que processam a lista dentro do navegador, sem enviar nada para um servidor, reduzem bastante a superfície de risco — os dados não saem do seu computador. É como as ferramentas de texto deste site funcionam, e a página como funciona explica o mecanismo em detalhe.

Perguntas frequentes

Como sei quantas duplicatas foram removidas? Compare o número de linhas antes e depois. A diferença é a quantidade removida.

Dá para manter a última ocorrência em vez da primeira? A maioria das ferramentas mantém a primeira. Se você precisa da última, inverta a lista antes de deduplicar e inverta de novo depois.

Duplicatas parciais são detectadas? Não. A comparação é da linha inteira. "João Silva" e "João da Silva" são linhas diferentes e ambas sobrevivem. Detectar semelhança exige comparação aproximada, que é outro tipo de ferramenta.

A ordem original é preservada? Sim, quando você apenas remove duplicatas. Ordenar é um passo separado e opcional.