Grammar-constrained decoding : forcer les LLMs à produire une syntaxe valide à chaque token
Les LLMs hallucinent la syntaxe parce qu'ils samplent les tokens de manière probabiliste. Le grammar-constrained decoding filtre le vocabulaire à chaque étape pour n'émettre que des tokens préservant la validité syntaxique.
Demandez à un LLM de générer un objet JSON et il finira par émettre une virgule finale, un saut de ligne non échappé à l'intérieur d'une string, ou un bare…