Explorando desenvolvimento AI-first, guardrails de código e a arquitetura da descartabilidade.
Type aliases não criam tipos distintos em TypeScript. Branded types criam, e podem te salvar de misturar identifiers em tempo de compilação.
No último trimestre, entregamos um bug que reembolsou o cliente errado. Uma função recebeu um user ID onde esperava um order ID. As strings pareciam idênticas,…
Differential testing permite encontrar bugs sem saber a resposta correta. O problema é que erros correlacionados parecem concordância. Veja como identificar os pontos cegos.
Você pode confiar em differential testing sem uma prova formal, mas apenas se entender exatamente onde ele falha. A fraqueza se chama common-mode failure.…
A programação N-version assume que suas implementações concordam. Veja por que os testes não são suficientes, como os solvers SMT podem de fato provar equivalência, e onde traçar a linha entre bom o suficiente e formalmente verificado.
Você construiu um sistema n-version. Três implementações independentes da mesma função crítica, um voter que escolhe o resultado da maioria, e uma sensação de…
Executar múltiplos LLMs em paralelo captura erros que qualquer modelo individual enviaria com confiança. Aqui está como construir um sistema de resolução de divergências que realmente funciona.
Você envia um prompt para o GPT-4o. Ele retorna um blob JSON com uma confiança de 0.97. Você envia o mesmo prompt para o Claude 3.5 Sonnet. Ele retorna um blob…
N-version programming parece simples: execute várias implementações e escolha a melhor resposta. Na prática, 'melhor' é muito mais difícil de definir do que 'mais comum'.
Você tem cinco implementações da mesma função. Três retornam o mesmo resultado. Uma é ligeiramente diferente. Uma lança uma exceção. Qual está certa? A maioria…
Programação N-version com LLMs não requer múltiplos modelos. Você pode extrair implementações diversas e corretas de um único modelo variando prompts, personas e restrições de raciocínio.
A programação N-version assume que a diversidade vem de autores diferentes. Com LLMs, isso significa modelos diferentes, provedores diferentes, talvez…
A programação N-version prometia que equipes independentes cometeriam erros independentes. O experimento de Knight e Leveson em 1986 provou o oposto, e a NASA abandonou a ideia em silêncio.
No início dos anos 1980, a NASA enfrentou uma questão que ainda assombra a engenharia safety-critical hoje: como tolerar bugs que ainda não encontraste? A…
O status 'skipped' do Cucumber esconde três problemas completamente diferentes. Veja como diagnosticar qual deles está devorando sua test suite, e como detê-lo.
Metade dos seus Cucumber scenarios está skipped. Não failed. Skipped. Aquele status amarelo é pior que um build red. Ele faz sua suite parecer saudável…
Especificações Gherkin saem de sincronia no momento em que você confia em humanos para atualizá-las manualmente. Veja como automatizar as verificações que mantêm os arquivos de feature honestos.
Suas especificações Gherkin estão mentindo para você. Não intencionalmente. Elas começaram fiéis. Mas seis sprints depois, alguém refatorou o fluxo de checkout…
A maioria das equipes documenta regras de arquitetura em wikis. Veja como escrevê-las como testes executáveis que quebram o CI quando seu grafo de dependências se desvia.
Sua test suite verifica que retorna 42 quando recebe a entrada correta. Ela não verifica se tem permissão para importar . O compiler aceita ambos. Seus testes…