12 posts
Seer ingère des arbres de traces, des erreurs connectées et des données de profiling pour diagnostiquer des problèmes distribués. Voici comment il fonctionne réellement, où il excelle, et où il a encore besoin de l'humain.
Un frontend lève une 500. La stack trace pointe vers un composant React. Le vrai problème est à trois services de distance, dans un pool de connexions à base…
Les large language models sont de bons partenaires de brainstorming pour découvrir des test oracles, mais ils hallucinent des propriétés et manquent des contraintes métier. Voici comment les utiliser sans livrer des tests erronés.
Vous devez tester une fonction où la sortie correcte est impossible à connaître à l'avance. Un optimiseur d'itinéraire. Un classificateur de sentiment. Une…
Les large language models peuvent aider à trier les faux positifs de l'analyse statique, mais ils ne comprennent pas la sémantique des programmes comme le fait l'interprétation abstraite. Voici comment combiner les deux.
Votre analyseur statique vient d'émettre 847 avertissements un vendredi après-midi. Vous savez, statistiquement, que quelque part entre 5% et 15% d'entre eux…
La vérification Cleanroom nécessite de générer et de lever des obligations de preuve. Voici comment les LLM automatisent l'annotation et la génération de conditions de vérification afin que vous puissiez vous concentrer sur les preuves réellement difficiles.
Le génie logiciel Cleanroom exige que vous prouviez la correction de votre code avant de le compiler. Cela semble noble jusqu'à ce que vous passiez trois…
J'ai passé 30 jours à rédiger des explications de conception avant de demander du code à un LLM. Les résultats ont changé ma vision du rubber-ducking.
La plupart des développeurs utilisent les LLMs à l'envers. On décrit ce qu'on veut en cinq mots, on récupère 200 lignes de code, et on passe l'heure suivante à…
Les conversations avec les LLM contiennent l'intention, les alternatives rejetées et le code fonctionnel. C'est exactement ce que la documentation devrait être. Voici comment transformer un chat éphémère en documentation durable et consultable sans perdre la narration.
Vous avez passé quarante-cinq minutes avec Claude à concevoir un circuit de réessai. Vous avez expliqué les modes de défaillance, rejeté le backoff exponentiel…
Les inspections Fagan nécessitent quatre à six personnes et deux heures pour examiner 250 lignes. Un LLM peut réduire ce coût en gérant la préparation et le respect des checklists, mais il ne peut pas remplacer les rôles humains qui trouvent les défauts les plus coûteux.
Une inspection Fagan complète nécessite un modérateur, un lecteur, deux à quatre inspecteurs et l'auteur. L'équipe passe deux heures à examiner environ 250…
Les grands modèles de langage écrivent du Rust étonnamment bon, mais quand vous leur demandez une preuve formelle, ils hallucinent des invariants et inventent une syntaxe qu'aucun vérificateur n'accepte. Voici ce qu'ils font réellement bien, où ils échouent et comment les utiliser malgré tout.
Les LLMs peuvent écrire du Rust qui compile et même passe . Ce qu'ils ne peuvent pas faire de manière fiable, c'est écrire une preuve formelle que le code est…
Les LLMs hallucinent la syntaxe parce qu'ils samplent les tokens de manière probabiliste. Le grammar-constrained decoding filtre le vocabulaire à chaque étape pour n'émettre que des tokens préservant la validité syntaxique.
Demandez à un LLM de générer un objet JSON et il finira par émettre une virgule finale, un saut de ligne non échappé à l'intérieur d'une string, ou un bare…
Vous pouvez générer des design tokens à partir de descriptions en anglais simple, mais seulement si vous traitez la description comme un DSL à contexte borné avec un contrat de schema et des snapshot tests.
Oui, vous pouvez décrire un thème en anglais et obtenir un design system fonctionnel. L'astuce est que la description en anglais n'est pas un prompt. C'est un…
Exécuter plusieurs LLM en parallèle permet de détecter des erreurs que tout modèle isolé enverrait avec assurance. Voici comment construire un système de résolution des désaccords qui fonctionne réellement.
Vous envoyez un prompt à GPT-4o. Il retourne un blob JSON avec un score de confiance de 0,97. Vous envoyez le même prompt à Claude 3.5 Sonnet. Il retourne un…
La programmation N-version avec les LLM ne nécessite pas plusieurs modèles. Vous pouvez extraire des implémentations diverses et correctes d'un seul modèle en faisant varier les prompts, les personas et les contraintes de raisonnement.
La programmation N-version part du principe que la diversité vient d'auteurs différents. Avec les LLM, cela signifie des modèles différents, des fournisseurs…