フレークテストスイートのケース

私は最近、信頼性が低いために使用するのが本当にイライラするテストスイートに取り組みました。

テストスイートが対象としていたアプリケーションは、RailsAPIのみのアプリケーションでした。テストは、「JSONRESTエンドポイントでエンドツーエンドのテストを実行するように設計されたAPIテストフレームワーク」であるChakramと呼ばれるフレームワークを使用してJavaScriptで記述されました。

テストスイートの問題は、それが決定論的ではなかったことでした。関数またはプログラムは、同じ入力が与えられた場合、常に同じ出力を提供する場合、決定論的です。

この特定のテストスイートは、アプリケーションコードまたはテストコードに変更を加えることなく、最初の実行に合格し、2回目の実行に合格し、3回目の実行で失敗します。

rake db:resetを実行することで、テストスイートを合格に戻すことができることを発見しました。 。テスト環境ではなく、Railsアプリケーションの開発環境で動作するテストは、テストスイートの実行が開始されたときにRailsアプリケーションのデータベースが特定の状態にあることに依存していました。

場合によっては、新しくシードされたデータベースから始めて、テストスイートを実行してから、テストスイートをもう一度正常に実行することができます。テストスイートを3回以上実行できるかもしれません。しかし、かなり頻繁に、テストスイートはどういうわけかデータを台無しにし、私は別のrake db:resetを実行する必要があります テストスイートが正常に使用できる状態にデータを戻すため。

もちろん、これはどうあるべきかではありません。テストスイートが失敗するのは、テストしているコードが正しく機能しなくなるという1つの理由だけです。