Grammar-constrained decoding: forzando a los LLMs a emitir sintaxis válida en cada token
Los LLMs alucinan sintaxis porque samplean tokens probabilísticamente. El grammar-constrained decoding filtra el vocabulario en cada paso para que solo se emitan tokens que preserven la validez sintáctica.
Pídele a un LLM que genere un objeto JSON y eventualmente emitirá una coma al final, un salto de línea sin escapar dentro de un string, o un bare word donde…