테스트는 통과했는데, 데이터는 여전히 잘못되어 있다
Statistical debugging은 운영 환경 데이터를 신호로, 버그를 이상 신호로 다룬다. 단 하나의 단위 테스트도 추가하지 않고 데이터 손상, off-by-one 오류, 침묵하는 실패를 찾는 방법이다.
당신의 테스트 스위트는 초록색이다. 로그는 조용하다. 대시보드에는 빨간 선이 없다. 그런데 3%의 사용자가 음수 합계가 적힌 인보이스를 받고 있거나, 추천 모델이 삭제된 상품을 조용히 맨 위에 올리고 있거나, 집계 파이프라인이 특정 시간대의 환불을 이중 집계하고 있다. 이것들은 데이터…