高難易度な「テストシナリオの洗い出し」をAIで効率化

石井：今回の狙いは、最先端の技術を5分で感じていただくことです。フォーカスするのはシナリオテストです。

シナリオテストは外部結合テストやシステムテストで使われますが、作成プロセスは非常にむずかしく、特にテストシナリオの洗い出しに悩まれている方がすごく多いです。

なぜむずかしいかというと、我々はこのプロセスを6つのステップに分解しています。

6つのプロセスに分解したうえで、シナリオを整理し、テスト観点を検討し、シナリオと観点を紐づけて、ようやくテストケースを書き出します。

シナリオテストにおけるシナリオの洗い出しはさまざまな条件やシステムが関連してくるため、難易度が高く時間がかかります。

私たちのチームでは、生成AIを使うことで、これをなんとか支援できないかと思っており、その仕組みを開発しました。

先程説明した6つのステップの1～4までのプロセスをAIで支援します。この取り組みは、現在開発・実験・実証段階のものです。

30分で10個のテストシナリオを作成することに成功

まず今回の成果ですが、スマートリモコンとエアコンの連携テストシナリオを30分で10個作成することができました。

少なく見えるかもしれませんが、これを人の手でつくると非常に時間がかかります。生成AIを使うことで30分で作成できる、その仕組みを説明します。

まずシナリオテストの対象とするフェーズは結合テスト以降、つまりシステムテストや受け入れテストです。

そのなかで、業務フローとシナリオの分析を生成AIで行います。利用者は設計リーダーで、素早くテストシナリオを洗い出して作成することが目的です。

生成AIが質問をして、それにテストリーダーが答えることでシナリオをつくることができるという形になっています。UIは一般的なチャットUIです。

このなかに実は、フェーズごとにプロンプトが含まれています。テスト目的の明確化や仕様の整備といったプロンプトが細かく設定されています。

実際のやり取りはこちらです。

概要や目的などを聞かれるのでそれぞれ答えることで、機能やルールが整理されます。

そこからさらに「通信の種類は？」「通信障害の種類は？」といったことを聞かれるので、それに答えていくと矛盾点なども整理してくれます。最終的にフローやシナリオがつくられるという流れです。

ベテラン設計者並みの高精度なテストシナリオ作成を再現

ではダイジェストです。今回は先ほど言ったとおり、スマートリモコンのシナリオを作成しました。

このようにAIが質問をしてくれるので、最初に機能や目的などを書いていきます。

そうすると、仕様やルールが抽出されるので、それに答えていきます。「通信障害の定義は？」「通信障害時にUIのポップアップでユーザーにどう通知するのか？」といった追加の質問もあります。

これらに答えると、フロー図とシナリオが出力されます。

AIによるテストシナリオ作成の試みを通して得た成果と気づき

まとめに入ります。最終的に提示されたシナリオは期待を超えるUXでした。今回のJaSST’25 Hokkaidoのテーマ「北海道は DX AI Do！！（でっかいどー）」じゃないですが、まさに「でっかいものが見えた」という感じでした。

知識のあるテストリーダーでも、これを作成するにはとても時間がかかります。30分足らずでパパッと正確なものが出てくるというのは、とても安心感があると思います。

ベテランメンバーがプロンプトを作成しているので、このツールを使っていくなかで、彼らの思考や整理のプロセスを追体験できます。

実際の現場で使ったメンバーからは、「あいまいだったプロセスが言語化されるので、後輩へのOJTに使いやすい」という声がありました。

この後、ブースでこの仕組みの詳細について説明しますので、ぜひお声がけください。ご清聴いただきありがとうございました。

（※本記事の内容および取材対象者の所属は、イベント開催当時のものです）