Elysia Tools
Navegação
Workflow Playbook
Prepare registros independentes, fixe uma divisão estratificada reproduzível, confira cobertura de classes e limites da análise de vazamento e entregue conjuntos rastreáveis.
Temas
Este roteiro entrega arquivos revisados de treino, validação e teste para um experimento de classificação, não um modelo ou certificado de ausência de viés. Defina a observação e as informações disponíveis no instante da previsão. Pacientes, usuários, famílias e documentos relacionados não se tornam independentes por ocupar linhas diferentes. Se precisar respeitar grupos ou tempo, use outra abordagem: o divisor não oferece esses controles.
Confirme permissão e preserve um vínculo controlado com as fontes. Confira rótulos vazios, grafias e contagens; um alvo ausente não deve virar uma classe silenciosamente. Valide o CSV antes da divisão: o leitor pode completar linhas curtas e cortar células além da largura do cabeçalho. Resolva nomes ambíguos e registros danificados; uma exportação bem-sucedida não comprova preservação de todos os valores.
Para contar classes no agrupador, use uma tabela simples só de rótulos, verificada separadamente, sem textos multilinha nem delimitadores entre aspas. O leitor é básico; se os rótulos exigirem regras CSV complexas, use um leitor externo adequado e concilie totais. Não renomeie nem una rótulos para acomodar o leitor.
Escolha atributos e alvo e mantenha uma chave estável fora das variáveis do modelo, ou um registro externo autorizado. Compare conteúdo relevante em uma cópia separada sem IDs únicos mascarando igualdade, mantendo a rastreabilidade de cada fonte. A deduplicação remove linhas: não a execute no único original nem aceite correspondências aproximadas automaticamente.
Medições repetidas podem ser legítimas e exigir outra divisão, não remoção. Rótulos conflitantes no mesmo conteúdo precisam de adjudicação, não exclusão arbitrária. Registre cópias acidentais removidas e chaves preservadas. Não ajuste imputação, escala, seleção de atributos ou balanceamento na base inteira; transformações aprendidas devem ser ajustadas apenas no treino.
Registre hash da entrada exata, ordem, campos, alvo, versão, modo, proporções, semente e opções de embaralhamento e estratificação. A semente isolada não reproduz entrada alterada ou outra implementação, nem garante os mesmos membros do scikit-learn. No modo padrão, teste recebe o restante após treino e validação. Confira quantidades inteiras reais, não apenas percentuais solicitados.
Com 100 observações independentes e classes de 80 e 20, um plano 70/15/15 pode distribuir a menor classe em 14/3/3. Dois exemplos não cobrem três conjuntos. Não una rótulos diferentes nem desligue estratificação apenas para eliminar alertas. Em k-fold, os treinos se sobrepõem entre partições por definição, mas cada par deve isolar seus membros de validação. Não é criado um teste final independente.
Inspecione o ZIP: no modo padrão há train.csv, validation.csv, test.csv e split_report.json. Reconte classes e concilie chaves com a entrada aprovada; cada original elegível deve aparecer exatamente uma vez entre os três conjuntos. A verificação integrada compara linhas completas: IDs diferentes ou pequenas edições podem ocultar atributos equivalentes. Confira entidades, quase cópias e informações derivadas do futuro separadamente. O JSON não é um registro completo de membros ou vazamentos; preserve os avisos exibidos e verificações externas.
Use a ferramenta de desequilíbrio apenas em uma cópia do treino e, na validação cruzada, dentro de cada treino. SMOTE aqui é uma prévia numérica e não adiciona exemplos aos CSV exportados. Códigos inteiros e IDs não são atributos contínuos válidos só por serem números. Preserve a avaliação e trate qualquer reamostragem aprovada como experimento separado. Valide e calcule hashes dos CSV finais, guarde arquivos locais, aprovação e riscos pendentes, e exclua as chaves do modelo. Mudar fonte, ordem ou parâmetros exige nova revisão; limpeza geral e análise estatística seguem nos roteiros relacionados.
Guia de fluxo de trabalho
Valide o CSV, examine rótulos ausentes e conte classes. Revise unidade e tempo de previsão; interrompa se o isolamento necessário por grupo ou tempo não puder ser imposto.
Selecione campos mantendo uma chave não preditiva ou vínculo externo. Compare conteúdo, não apenas IDs; remova somente cópias acidentais confirmadas e registre o motivo.
Calcule o hash exato e registre ordem e parâmetros. Execute a divisão estratificada padrão com semente e exporte o ZIP; k-fold opcional gera pares, não um teste final independente.
Reconte rótulos, confira membros, avisos e sobreposição de entidades e conteúdo. Preserve a avaliação; compare balanceamento apenas no treino e não trate a prévia SMOTE como dados aumentados exportados.
Use esta rota apenas com independência justificada. Pessoas repetidas, documentos relacionados e previsões futuras podem exigir divisão externa por grupos ou tempo.
Confira quantidades reais. Uma classe pode faltar mesmo com entrada válida; colete dados ou revise o plano, em vez de desativar estratificação para ocultar avisos.
Guarde primeiro uma base inalterada. Compare alternativas somente no treino ou dentro de cada partição de treinamento da validação cruzada, nunca na base completa ou avaliação.
Valide cada CSV e confira colunas, quantidades e membros aprovados. Guarde hashes, arquivos locais, split_report.json e revisões externas; mudanças exigem nova aprovação.