3 posts
Differential testing memungkinkan Anda menemukan bug tanpa mengetahui jawaban yang benar. Masalahnya adalah kesalahan yang saling berkorelasi terlihat seperti kesepakatan. Begini cara menemukan blind spot-nya.
Anda bisa memercayai differential testing tanpa bukti formal, tetapi hanya jika Anda memahami persis di mana ia gagal. Kelemahannya disebut common-mode…
Menjalankan beberapa LLM secara paralel menangkap kesalahan yang akan dengan percaya diri dikirim oleh model tunggal. Berikut cara membangun sistem resolusi ketidaksetujuan yang benar-benar berfungsi.
Anda mengirim prompt ke GPT-4o. Ia mengembalikan blob JSON dengan confidence 0,97. Anda mengirim prompt yang sama ke Claude 3.5 Sonnet. Ia mengembalikan blob…
N-version programming terdengar sederhana: jalankan beberapa implementasi dan pilih jawaban terbaik. Dalam praktiknya, 'terbaik' jauh lebih sulit didefinisikan daripada 'paling umum.'
Anda memiliki lima implementasi dari fungsi yang sama. Tiga mengembalikan hasil yang sama. Satu sedikit berbeda. Satu melempar exception. Mana yang benar?…