metamorphic-testing

4 posts

Metamorphic Testing fand 147 Compiler-Bugs und einen Defekt in einem selbstfahrenden Auto. So funktioniert es.

Metamorphic Testing hat echte Bugs in GCC, LLVM, Vulkan-Shader-Compilern und ADAS-Simulatoren aufgedeckt. Dieser Artikel erklärt die Technik mit lauffähigem Code und zeigt, wo sie in Ihre Test-Suite passt.

Metamorphic Testing hat 147 bestätigte Bugs in GCC und LLVM gefunden, Defekte in kommerziellen ADAS-Simulatoren, die von Automobil-OEMs genutzt werden, sowie…

LLMs können Metamorphic Relations vorschlagen. Sie können sie nur nicht garantieren.

Große Sprachmodelle sind brauchbare Brainstorming-Partner für die Entdeckung von Test Oracles, halluzinieren aber Eigenschaften und übersehen Domänen-Einschränkungen. So verwendest du sie, ohne falsche Tests auszuliefern.

Du musst eine Funktion testen, bei der die korrekte Ausgabe im Voraus unmöglich zu kennen ist. Ein Routenoptimierer. Ein Sentiment-Classifier. Eine…

Die meisten Metamorphic Relations sind nutzlos. So findest du die Guten.

Nicht alle Metamorphic Relations finden Bugs. Schwache Relations erwecken falsche Sicherheit, während starke echte Fehler aufdecken. So unterscheidest du sie und baust einen Satz an Relations, der wirklich funktioniert.

Du hast zwölf metamorphische Relations für deine Preisberechnungsengine geschrieben. Jeder Test besteht. Du fühlst dich gut abgedeckt. Dann meldet ein Kunde,…