oracle-problem

2 posts

metamorphic-testingmetamorphic-relationstestingoracle-problem

大多數 Metamorphic Relations 都沒用，這裡教你怎麼挑出好的

並非所有 metamorphic relations 都能抓到缺陷。弱的關係給你虛假的信心，強的關係才能找出真正的錯誤。以下是如何區分兩者，並建構一套真正有效的關係集合。

你為定價引擎寫了十二個 metamorphic relations。每個測試都通過。你對自己的涵蓋率感覺良好。 然後顧客回報大量折扣計算反了。你檢查你的關係套件。沒有任何一個測試失敗。你有加法一致性、單調性與idempotency的關係。沒有任何一個抓到折扣乘數的正負號錯誤。 這是 metamorphic…
metamorphic-testingoracle-problemtestingml

不知道正確答案是什麼，要怎麼測試程式碼？

Metamorphic testing 讓你在不知道預期輸出的情況下驗證程式碼正確性。以下是它的運作方式、限制，以及如何開始使用。

你上線了一個為支援工單標記分類的機器學習模型。你的測試套件全綠。每個測試都通過了。 那些測試沒有一個真正檢查標籤是否正確。你根本不知道正確的標籤是什麼。沒人知道。對於真實世界的輸入，「正確」的輸出實際上無法得知，所以你只好檢查函式不會崩潰，或者輸出形狀符合預期。這不是測試。這是在祈禱。 這就是 oracle…