3 posts
Differential testing permite encontrar bugs sem saber a resposta correta. O problema é que erros correlacionados parecem concordância. Veja como identificar os pontos cegos.
Você pode confiar em differential testing sem uma prova formal, mas apenas se entender exatamente onde ele falha. A fraqueza se chama common-mode failure.…
Executar múltiplos LLMs em paralelo captura erros que qualquer modelo individual enviaria com confiança. Aqui está como construir um sistema de resolução de divergências que realmente funciona.
Você envia um prompt para o GPT-4o. Ele retorna um blob JSON com uma confiança de 0.97. Você envia o mesmo prompt para o Claude 3.5 Sonnet. Ele retorna um blob…
N-version programming parece simples: execute várias implementações e escolha a melhor resposta. Na prática, 'melhor' é muito mais difícil de definir do que 'mais comum'.
Você tem cinco implementações da mesma função. Três retornam o mesmo resultado. Uma é ligeiramente diferente. Uma lança uma exceção. Qual está certa? A maioria…