6 posts
Le differential testing permet de trouver des bugs sans connaître la réponse correcte. Le problème est que des erreurs corrélées ressemblent à un accord. Voici comment repérer les angles morts.
Vous pouvez faire confiance au differential testing sans preuve formelle, mais seulement si vous comprenez exactement où il s'effondre. La faiblesse s'appelle…
La programmation N-version part du principe que vos implémentations sont d'accord. Nous voyons pourquoi les tests ne suffisent pas, comment les solveurs SMT peuvent prouver l'équivalence, et où tracer la ligne entre 'suffisamment bon' et 'formellement vérifié'.
Vous avez construit un système N-version. Trois implémentations indépendantes de la même fonction critique, un votant qui choisit le résultat majoritaire, et…
Exécuter plusieurs LLM en parallèle permet de détecter des erreurs que tout modèle isolé enverrait avec assurance. Voici comment construire un système de résolution des désaccords qui fonctionne réellement.
Vous envoyez un prompt à GPT-4o. Il retourne un blob JSON avec un score de confiance de 0,97. Vous envoyez le même prompt à Claude 3.5 Sonnet. Il retourne un…
La programmation N-version a l'air simple : exécuter plusieurs implémentations et choisir la meilleure réponse. En pratique, 'meilleure' est bien plus difficile à définir que 'la plus commune'.
Vous avez cinq implémentations de la même fonction. Trois retournent le même résultat. Une est légèrement différente. Une lève une exception. Laquelle est…
La programmation N-version avec les LLM ne nécessite pas plusieurs modèles. Vous pouvez extraire des implémentations diverses et correctes d'un seul modèle en faisant varier les prompts, les personas et les contraintes de raisonnement.
La programmation N-version part du principe que la diversité vient d'auteurs différents. Avec les LLM, cela signifie des modèles différents, des fournisseurs…
La programmation N-version promettait que des équipes indépendantes feraient des erreurs indépendantes. L'expérience de Knight et Leveson en 1986 a prouvé le contraire, et la NASA s'est discrètement retirée.
Au début des années 1980, la NASA était confrontée à une question qui hante encore l'ingénierie safety-critical aujourd'hui : comment tolérer des bugs que vous…