テストはパスした。だがデータはまだ間違っている
statistical debuggingは本番データを信号として扱い、バグをその異常として捉える。unit testを1つも追加せずに、データの破損、オフバイワンエラー、静かな失敗を見つける方法を解説する。
テストスイートはグリーンだ。ログは静かだ。ダッシュボードに赤い線はない。それでも、ユーザーの3%がマイナスの合計金額の請求書を受け取っているかもしれないし、推薦モデルが削除された製品を静かに先頭にランキングしているかもしれないし、集計パイプラインが特定のタイムゾーンからの返金を二重にカウントしているかもしれない。…