アルダグラムの提供しているプロジェクト管理アプリ「KANNA（カンナ）」では、Webアプリとモバイルアプリ（iOS/Android）があり、リリース前に必ず手動テストを行っています。「MagicPod」の導入前は、リリースの前日にリグレッションテストが走り、その段階でPdMやエンジニアの判断で要修正となると、リリースが1〜2日遅れてしまうということが起きていました。COOの渥美さんや他のメンバーも先を見据えた課題感を持っていたため、テスト自動化の導入を検討しました。

小幡氏 : 

「MagicPod」を使ってみると操作できる項目が多く、生のログが見られるなどエンジニアにとって分かりやすいと感じました。また、「MagicPod」は実行回数が無制限で、モバイルアプリのテストも書けます。実際に使ってみて、コーディングの知識がなくてもスムーズに書けるのも良いと感じ、導入を決めました。

佐野氏 : 

「MagicPod」の導入後は1日1回、平日の早朝に定期実行しています。朝会が終わった後にSlackの通知を見てNGが返ってきていたら「どこがNGだったんだろう？」と見に行くのがルーティン化しています。

小幡氏 : 

既存機能のシステムが意図通りに動作するかE2Eで担保し、新機能のテストとUX観点のテストは手動で行います。全てのテストがOKだったら本番にリリースし、新機能のE2E自動テストを追加します。これによって機能が増えても本質的な部分にフォーカスした手動テストができるようになると考えています。

佐野氏 : 

もともと全てのQAは手動で行っていましたが、現在6〜7割ほどがE2E自動テストで行えるようになりました。現在行っているQAテストを全て手動で行ったら7時間以上かかると思いますが、「MagicPod」を導入したことでその工数を3〜4時間ほどに短縮できています。

小幡氏 : 

何回も実行できる「MagicPod」に助けられていて、網羅的にテストが走っている安心感は開発速度の向上にもつながっていると思います。今後はモバイルアプリのテストも追加していく予定です。モバイルの挙動はどうしても端末によって差異が出ますが、MagicPodならさまざまな端末でテスト実行できます。リリース前に特定の端末でのみ起こるバグにも気づけるようになると考えています。