数日の作業がわずか30分に。熟練者の思考をブーストする「シナリオテストAI」の衝撃 JaSST’25 Tokai 登壇レポート
2025年12月5日、ソフトウェアテストシンポジウム「JaSST’25 Tokai」が開催されました。
SHIFTがプレミアムスポンサーを務めた本イベントには、CATエヴァンジェリストの石井が「シナリオテストにおける生成AI活用のアプローチと実用例」というテーマで登壇。
ソフトウェア開発の現場において、生成AIの活用はもはや避けて通れないテーマとなっています。また、ソフトウェアテストの分野でも「いかにしてAIを活用するか」という模索がつづいています。
多くのエンジニアが最初に思い描くのは、AIによる詳細な「テストケース」の自動生成でしょう。
しかし、ソフトウェアの品質保証（QA）を専門とするSHIFTは、ユーザーの利用シーンに基づいた「シナリオ」を生成することに特化した対話型AIを開発しました。
なぜ「テストケース」ではなく「シナリオ」なのか。熟練者が数日かかる作業をわずか30分に短縮したという驚異的な成果の全貌とは。
品質保証のプロフェッショナルたちが挑んだ、生成AI活用の一例をご覧ください。
関連コンテンツ
-
CATエヴァンジェリスト 石井
倉庫事業企業のシステム部門にて、基幹システムの開発・保守・導入および大規模基幹システム移行への参画を経験し、2015年にSHIFT入社。CAT開発チーム内でユーザーサポートとして、ユーザーと開発メンバーのブリッジを行い、ユーザーの課題分析や新機能提案などを日々実施している。
目次
生成AI活用に「テストケース」ではなく「シナリオ」の作成を選ぶ理由
テスト工程へのAI導入と聞いて、「テストケースをAIに生成させるのでは？」と想像した方は多いのではないでしょうか。
例えば、「ログイン画面でIDを入力し、パスワードを入力し、ログインボタンを押下する」といった具体的な操作手順の羅列です。
しかし、ここには大きな落とし穴があります。
AIが生成した詳細なテストケースは、一見もっともらしく見えますが、その手順が完全に合っているとは限りません。
結果として、人間は「AIが書いた膨大なテストケースを検証したりテストしたりする」作業に追われてしまいます。これでは、かえって手間が増えてしまうのです。
そこで、SHIFTではより抽象度の高い「業務フロー」や「シナリオテスト」といった領域へのAI導入を実証しています。
今回は、SHIFTが独自開発したチャット型AIエージェント「シナリオテストAI」の取り組みと成果を報告します。
そもそも、シナリオテストとは、一つひとつのテストの手順ではなく「ユーザーが商品を検索し、カートに入れ、決済を完了する」といった一連の流れ（ストーリー）を指します。
このレベルの抽象度であれば、人間は直感的に「方向性が合っているか」を判断でき、スピーディーに確認することができます。
AIのアウトプットを人間が「一つひとつ検証」するのではなく「方向性を監修」する。これにより、生成AIのスピードを活かしつつ、人間の判断力を最大限に発揮できるのです。
シナリオテストAIがターゲットとしているのは、新人エンジニアではなく、あくまで「テスト設計リーダー」クラスの熟練者です。
シナリオテストを組む技量のあるメンバーが使用することで、彼らが頭の中で組み立てているロジックをAIが高速に出力し、それをプロの目で取捨選択する。
つまり、人間の代替ではなく、「プロの技量をブーストさせる」ためのツールとして設計されています。
高品質なアウトプットの秘訣、SHIFTの品質標準「SQF」×対話型AI
ここからは、シナリオテストAIの概要についてお話しします。シナリオテストAIは、オープンソースのLLMアプリ開発プラットフォーム「Dify」などを活用して構築された、独自の対話型エージェントです。
これは、ユーザーから一方的に指示を受けるだけのツールではありません。テスト設計者が行うべき思考プロセスをなぞるように、チャット形式でユーザーに問いかけを行いながら、必要な情報を引き出していきます。
実際の利用シーンは、まるで熟練のコンサルタントと壁打ちをしているような体験です。
AIはまず、「今回のテストの目的は何ですか？」と問いかけます。ユーザーがそれに答えると、次は「対象となる機能の仕様を教えてください」「想定される業務フローはどのようなものですか？」と、段階的に情報を整理していきます。
この対話プロセスのなかで、AIは単に情報を記録するだけでなく、論理的な矛盾があれば指摘も行います。「先ほどの目的と、提示された仕様に矛盾があるようですが、どちらが正しいですか？」といった具合です。
このように、対話を通じてあいまいな点をクリアにし、整理された情報を元にシナリオを生成するため、精度の高いアウトプットが期待できるのです。
シナリオテストAIの裏側を支えているのが、ISTQ、ISO／IEC／IEEE 29119などの世界的品質保証標準と年間4,000件もの支援経験から得たナレッジを融合させたSHIFT独自の品質保証標準「SQF（SHIFT Quality Framework）」です。
「シナリオテストAI」のプロンプトは、このSQFを整備したメンバーによって設計されています。
SQFに裏打ちされた高度なプロンプトが各フェーズに組み込まれているため、AIはSHIFTのトップエンジニアのような視点でシナリオを導き出すことができるのです。
実証実験で証明された「数日から30分へ」の劇的な生産性向上
SHIFTでは、スマートリモコンとエアコンの連携機能のテストに、シナリオテストAIを用いました。その結果、わずか30分にして10本のテストシナリオが完成しました。
「たった10本？」と思われるかもしれません。しかし、複雑な連携パターンの整合性を取りながら、抜け漏れのないシナリオをゼロから設計するのは骨の折れる作業です。
現場の熟練エンジニアの試算によると、「同じレベルの品質で、自力でこれだけのシナリオを作り上げるには数日はかかる」とのこと。つまり、プロが数日かけて行う知的作業を、AIとの協働によって30分に短縮できたのです。
「品質の高いたたき台」がもたらす開発者との早期連携
実際にこのツールを使用した現場からは、以下のような声があがっています。
・品質の高い「たたき台」がすぐに出せるため、開発者へのヒアリングが非常にスムーズになった
・作成時間が約半分になった感覚がある
・このシステムを使いこなせるかどうかでQAメンバーの技量が判断できるほど、本質的な設計力が問われる面白いツールだ
「シナリオテストAI」を導入して削減された工数で仕様上の漏れを検出していく。これはソフトウェア開発のプロセスそのものを変革する可能性、すなわちシフトレフトの実現に寄与する可能性を秘めています。
まとめ
SHIFTが開発した「シナリオテストAI」は、単なる構想段階のものではなく、実務で使える確かな実績を上げているツールです。
「テストケース」ではなく「シナリオ」という抽象度に狙いを定め、独自の品質標準「SQF」をAIに組み込むことで、プロフェッショナルが納得する品質と、圧倒的な時間短縮を両立させました。
「0から1を作る」苦しみをAIが肩代わりし、人間は「1を10や100にする」品質向上に注力する。これがSHIFTの考える生成AI活用の姿です。
AIと人間がそれぞれの得意分野を活かして協調する、新しい品質保証の未来はSHIFTからはじまります。
（※本記事の内容および対象者の所属は、イベント開催当時のものです）
