12 posts
Seer ingiere árboles de trazas, errores conectados y datos de profiling para diagnosticar problemas distribuidos. Así es como funciona realmente, dónde brilla y dónde todavía necesita ayuda humana.
Un frontend lanza un 500. El stack trace apunta a un componente de React. El problema real está a tres servicios de distancia, en un pool de conexiones a base…
Los large language models son socios de lluvia de ideas decentes para descubrir test oracles, pero alucinan propiedades y omiten restricciones de dominio. Así es cómo usarlos sin desplegar pruebas falsas.
Necesitas probar una función donde la salida correcta es imposible de conocer de antemano. Un optimizador de rutas. Un clasificador de sentimiento. Una…
Los large language models pueden ayudar a triagear falsos positivos del análisis estático, pero no entienden la semántica del programa como lo hace la interpretación abstracta. Así es como combinar ambos.
Tu analizador estático acaba de emitir 847 advertencias en una tarde de viernes. Sabes, estadísticamente, que entre el 5% y el 15% de ellas son bugs reales. El…
La verificación Cleanroom requiere generar y descargar obligaciones de prueba. Así es como los LLM automatizan la anotación y la generación de condiciones de verificación (VC) para que puedas centrarte en las pruebas realmente difíciles.
La ingeniería de software Cleanroom exige que demuestres que tu código es correcto antes de compilarlo. Suena noble hasta que pasas tres horas escribiendo…
Pasé 30 días escribiendo explicaciones de diseño antes de pedirle código a un LLM. Los resultados cambiaron cómo pienso sobre el rubber-ducking.
La mayoría de los desarrolladores usan los LLMs al revés. Describimos lo que queremos en cinco palabras, recibimos 200 líneas de código y pasamos la siguiente…
Las conversaciones con LLM contienen intención, alternativas rechazadas y código funcional. Eso es exactamente lo que la documentación debería ser. Aquí está cómo convertir chat efímero en documentación durable y buscable sin perder la narrativa.
Pasaste cuarenta y cinco minutos con Claude diseñando un circuito de reintento. Explicaste los modos de falla, rechazaste el backoff exponencial porque oculta…
Las inspecciones Fagan necesitan de cuatro a seis personas y dos horas para revisar 250 líneas. Un LLM puede reducir ese costo gestionando la preparación y el cumplimiento de checklist, pero no puede sustituir los roles humanos que encuentran los defectos más costosos.
Una inspección Fagan completa necesita un moderador, un lector, de dos a cuatro inspectores y el autor. El equipo dedica dos horas a revisar aproximadamente…
Los grandes modelos de lenguaje escriben código en Rust sorprendentemente bueno, pero cuando les pides una prueba formal alucinan invariantes e inventan sintaxis que ningún verificador acepta. Esto es lo que realmente hacen bien, dónde fallan y cómo usarlos de todos modos.
Los LLMs pueden escribir Rust que compila e incluso pasa . Lo que no pueden hacer de forma confiable es escribir una prueba formal de que el código es correcto…
Los LLMs alucinan sintaxis porque samplean tokens probabilísticamente. El grammar-constrained decoding filtra el vocabulario en cada paso para que solo se emitan tokens que preserven la validez sintáctica.
Pídele a un LLM que genere un objeto JSON y eventualmente emitirá una coma al final, un salto de línea sin escapar dentro de un string, o un bare word donde…
Puedes generar design tokens a partir de descripciones simples en inglés, pero solo si tratas la descripción como un DSL de contexto delimitado con un contrato de schema y snapshot tests.
Sí, puedes describir un tema en inglés y obtener un design system funcional. El truco es que la descripción en inglés no es un prompt. Es un archivo fuente. Y…
Ejecutar múltiples LLMs en paralelo detecta errores que cualquier modelo individual enviaría con total confianza. Así es como construir un sistema de resolución de discrepancias que realmente funciona.
Envías un prompt a GPT-4o. Devuelve un blob JSON con una confianza de 0.97. Envías el mismo prompt a Claude 3.5 Sonnet. Devuelve un blob JSON diferente,…
La programación N-version con LLMs no requiere múltiples modelos. Puedes extraer implementaciones diversas y correctas de un solo modelo variando prompts, personas y restricciones de razonamiento.
La programación N-version asume que la diversidad proviene de diferentes autores. Con los LLMs, eso significa diferentes modelos, diferentes proveedores, tal…