6 posts
Differential testing memungkinkan Anda menemukan bug tanpa mengetahui jawaban yang benar. Masalahnya adalah kesalahan yang saling berkorelasi terlihat seperti kesepakatan. Begini cara menemukan blind spot-nya.
Anda bisa memercayai differential testing tanpa bukti formal, tetapi hanya jika Anda memahami persis di mana ia gagal. Kelemahannya disebut common-mode…
N-version programming mengasumsikan implementasi Anda sepakat. Kita lihat mengapa tes kurang memadai, bagaimana SMT solver bisa benar-benar membuktikan ekuivalensi, dan di mana menarik garis antara cukup baik dan terverifikasi secara formal.
Anda membangun sistem n-version. Tiga implementasi independen dari fungsi kritis yang sama, sebuah voter yang memilih hasil mayoritas, dan perasaan hangat…
Menjalankan beberapa LLM secara paralel menangkap kesalahan yang akan dengan percaya diri dikirim oleh model tunggal. Berikut cara membangun sistem resolusi ketidaksetujuan yang benar-benar berfungsi.
Anda mengirim prompt ke GPT-4o. Ia mengembalikan blob JSON dengan confidence 0,97. Anda mengirim prompt yang sama ke Claude 3.5 Sonnet. Ia mengembalikan blob…
N-version programming terdengar sederhana: jalankan beberapa implementasi dan pilih jawaban terbaik. Dalam praktiknya, 'terbaik' jauh lebih sulit didefinisikan daripada 'paling umum.'
Anda memiliki lima implementasi dari fungsi yang sama. Tiga mengembalikan hasil yang sama. Satu sedikit berbeda. Satu melempar exception. Mana yang benar?…
N-version programming dengan LLM tidak memerlukan banyak model. Anda bisa mengekstrak implementasi yang beragam dan benar dari satu model dengan memvariasikan prompt, persona, dan constraint reasoning.
N-version programming berasumsi bahwa keragaman berasal dari penulis yang berbeda. Dengan LLM, itu berarti model yang berbeda, provider yang berbeda, mungkin…
N-version programming menjanjikan bahwa tim independen akan membuat kesalahan independen. Eksperimen Knight dan Leveson tahun 1986 membuktikan sebaliknya, dan NASA diam-diam meninggalkannya.
Pada awal 1980-an, NASA menghadapi pertanyaan yang masih menghantui engineering safety-critical hingga hari ini: bagaimana Anda mentolerir bug yang belum Anda…