テストは通る。ミューテーションスコアは40%。生存ミュータントが実際に語っていること
コードカバレッジは安全だと言う。ミューテーションテストは、テストのほとんどが飾りだと言う。生存ミュータントがその差をどう晒し、どう埋めるか。
テストは通る。カバレッジレポートは87%だ。しかしミューテーションスコアは40%で、半数のミュータントがまだ生きている。…
アイデアとインサイト
AI ファースト開発、コーディングガードレール、使い捨て前提のアーキテクチャを探求します。
RustでMutation Testingは機能する——ただしコンパイル時間が悲鳴を上げる
cargo-mutantsは、コードを検証したふりをしているテストを見つけ出す。Rustでのmutation testingの仕組み、何が捉えられるのか、そしてコンパイル時間のコストに見合う価値があるかを解説する。
100%のline coverageがある。すべての分岐が実行されている。すべての関数が呼ばれている。それなのに、誰かが価格ロジックのをに変えてテストを実行しても、すべて通ってしまう。…
検証スペクトラム：AIコーディングがバックエンドで最も効果的な理由
AIコーディングは検証の勾配に従う。バックエンドはミリ秒で検証し、Webは数分、モバイルは数時間かかる。フィードバックループがAIコーディングの有効範囲を決める。
AIモデルが単独でコードを書くこと自体は、興味深い部分ではない。興味深いのは、コードを生成した後に何が起こるかだ。モデルはどれだけ速くコードの正しさを知ることができるか？生成と検証の間のフィードバックループはどれだけ緊密か？…
猿と機関銃とaimbot：コーディングチームのためのAIガバナンス
AIコードガバナンスとは、ジュニア開発者やAIエージェントからツールを取り上げることではない。すべての弾丸を標的に命中させ、巻き添え被害を出さないguardrailsを導入することだ。
機関銃はすでに配布されている。 Massimo Chieruzzi（AdEspresso共同創業者、Unkover Chief AI Officer）はこれを見事に言い表した：「AIは時に、自分が機関銃を持った猿のように感じさせる」…
ミューテーションテストに4時間かかる。ではチームは実際にCIでどう使っているのか？
ほとんどのチームはすべてのコミットでフルのミューテーションテストスイートを実行していない。ここでは、ビルドパイプラインを破壊することなく、エンジニアリングチームが実際にミューテーションテストをCIに統合する方法を紹介する。
ミューテーションテストスイートの実行に4時間かかるなら、おめでとう。誰もが疑っていたことを証明したことになる：テストスイートに穴が空いている。…
ユニットテストは通るのに、データは消えている
モック化されたデータベースのテストはSQLの構文を検証するだけで、クラッシュや並列書き込み、スキーマの不整合を経ても行が存続するかどうかは検証しない。永続性を本気でテストする方法を紹介する。
テストでデータベースをモック化していると、リポジトリ層が正しいメソッドを呼び出しているかどうかをテストしているに過ぎない。クラッシュからデータが復元されるか、ユニーク制約が実際に重複をブロックするか、何かが失敗したときにトランザクションがロールバックされるかどうかはテストできていない。…
恐怖か驀進か：AIコーディングが分ける二つの現実
AIコーディングが機能するのは、どんな混乱からも立ち直れるエリートチームだけ。それ以外に残るのは恐怖とCI失敗と放棄された実験。格差の本質はモデルではない。
同じAIモデルを使う二つのチームを観察すれば、まったく異なる二つの結果を目にするだろう。…
モックアクションだらけにならずにReduxをテストする
すべてのReduxアクションをモックすると、テストは変更履歴の検証ツールになってしまう。実際の状態遷移を使ってストアをテストする方法を紹介する。
が正確なペイロードの形で呼ばれたかどうかを検証するテストを書いたことがあるなら、それは誰かが定数の名前を変更するたびに壊れるテストを書いたということです。 それは状態のロジックをテストしているのではありません。あなたの指が正しい文字列を打ったかどうかをテストしているだけです。…
本番環境でのAIコーディング：ほとんどのチームが挫折する理由
ほとんどのチームはAIコーディングを試し、QAに不合格になるコードをリリースし、そして諦める。問題はモデルではない——AIの出力を信頼できるものにするガードレールの欠如だ。
AIコーディングを試すほとんどのチームは、同じ軌跡をたどる。 最初は興奮している。モデルが数分で機能を生成し、それをリリースする。QAがバグを見つけ、修正をリリースする。QAがさらに別のバグを見つける。今度は無関係であるはずの別のmoduleだ。修正は14ファイルに及び、QAはさらに3つの問題を発見する。…
100 Test Runs Is a Lie: Property-Based Testを実際にどうサイジングすべきか
Property-based testingのデフォルト100例は統計的戦略ではなく社会的妥協だ。自分の信頼性の要件とCI予算にマッチする実行回数の選び方を解説する。
Property-based testをデフォルトの100例で実行しているなら、最悪の両方を手に入れている。CIは必要以上に遅く、それでも大事なバグは見逃している。…