JaSST’26 Tohoku 登壇レポート
生成AIの活用により高速化するシステム開発。それに伴い、増大するテストの負担。
「高速なリリースを維持しつつ、品質をどう担保すべきかわからない」と悩む品質管理や開発現場の方は多いのではないでしょうか。
今日、QA（品質保証）業務では、 AI活用による変革が求められています。
2026年5月29日、「生成AIと歩むテスト設計 〜AIはもう1人の仲間〜」をテーマとするソフトウェアテストシンポジウム「JaSST’26 Tohoku」が開催されました。
本イベントのプレミアムスポンサーを務めたSHIFTからは、CATエヴァンジェリスト 石井が「高速な品質フィードバックを実現するAIテスト設計エージェント構築の要点」というタイトルで登壇しました。
テスト熟練者の知見を体系化したSHIFT独自の品質保証基準「SQF（SHIFT Quality Framework）」とAIを融合させ、テスト設計のプロセスそのものを抜本的に変革したアプローチとは？
-
CATエヴァンジェリスト 石井
倉庫事業企業のシステム部門にて、基幹システムの開発・保守・導入および大規模基幹システム移行への参画を経験し、2015年にSHIFT入社。CAT開発チーム内でユーザーサポートとして、ユーザーと開発メンバーのブリッジを行い、ユーザーの課題分析や新機能提案などを日々実施している。
目次
開発スピードの加速が招く “QA業務のボトルネック化”をどう防ぐか
近年、AIを活用した開発手法の進化により、プロダクトの企画から市場投入までのサイクルは劇的に高速化しています。ビジネスの競争力を高めるうえで、このスピード感は大きな追い風になっています。
しかし、その反面、開発される機能の量は爆発的に増加し、それに伴って品質を検証すべきテスト範囲も規模が拡大しています。
開発のスピードがどれほど加速しても、つくられたプロダクトが正しく動くかを確認するQA業務の多くは、依然として人の稼働時間に依存しています。
限られた人員と時間のなかで膨大なテストをこなさなければならない旧来型のQA業務は限界に近づき、事業成長を阻むボトルネックになりつつあるのです。
この課題を解決するうえで重要なのは、単純な人員の増強ではありません。人海戦術によるアプローチを脱却し、AIを活用してテストプロセスそのものの構造を抜本的に変革することにあります。
AI時代におけるQAの“あるべき進め方”とは？
SHIFTにおける従来のQA業務は、お客様から機能仕様書などのプロダクト情報をいただき、テスト計画やテスト設計（テストケースの作成）を行った後、お客様のレビューを経てテストを実行し、品質情報をフィードバックするという流れでした。
現在、私たちが取り組んでいるのは、この一連のプロセスのなかで、従来は人手で行っていたテスト設計と実行をAIで実施する取り組みです。
勤務時間やアサイン調整、キャッチアップによるリードタイムの増加など、人手でのテストの制約を取り除くことで、品質フィードバックをさらに高速化します。
今回は、特に熟練の思考力が求められるテスト設計を、AIでどのように実現したのかに焦点を当てます。
機能テストを対象に「対象とするシステムを限定せず、弊社のテスト設計プロフェッショナルと遜色のない品質のテストケースをつくり出すこと」を目指しました。
AIへのインプットは、開発ドキュメントと弊社エンジニアが作成するテスト方針の2つに絞りました。
プロの暗黙知を体系化した「SQF」とAIの自己採点で、高品質を担保する
弊社の現場で運用するためには「人が理解し、必要に応じて修正できる成果物であること」が必要でした。そのため、アウトプットはテストコードではなく、自然言語で書かれたテストケースであることを要件としました。
また、テストケースの書き方や粒度はこれまで手動のテスト設計で実践してきたとおり、SHIFT独自の品質保証標準「SQF」に準拠する必要があります。これにより、カバレッジやテスト実行時の可読性を担保します。
SQFは、世界的品質保証標準（ISTQB、ISO／IEC／IEEE 29119）と年間4,000件の支援経験から得たナレッジを融合させたもので、テスト熟練者の深い思考プロセスや検証の観点、粒度の細かさ、正確な記述方法などを体系化した、いわば「プロの暗黙知を言語化したナレッジ集」です。
これを実現できたポイントは、大きく2つ挙げられます。
1つ目は、SQFに基づいてテスト設計のプロセスを徹底的に分解したこと。
AIへインプットを丸投げしても、成果物は安定しにくくなります。そこで、「スコープ決定」「ケース生成」「自己レビュー」といったSQFに準拠した役割ごとに、専用のAIエージェントを直列に配置したのです。
さらに、このサイクルを何度も回し、過去のサイクルの成果物をブラッシュアップできるような構造としました。
2つ目のポイントは、AIの実行プロセスに「三段階の実行レベル」を組み込んだことです。
実行レベルの一段階目では、最初のAIエージェントが、インプットとなる機能仕様書やテスト計画書の妥当性を入念にレビューする段階とします。
また、テスト設計に必要な情報が不足していると判断した場合は、弊社のエンジニアが仕様情報を整備、またはテスト計画書を修正します。
二段階目では、AIエージェントがテストケースを一通り生成します。ここでは、全体の構成や網羅性に抜け漏れがないかを確認し、案件で求められる品質に到達する見込みが立っているかを全体像から評価します。
三段階目では、そのテストケースに対して、SQFに基づく10個の観点に基づき、AI自身が成果物を「100点満点」で自己採点します。
もし点数が基準に満たなければ、過去のサイクルの成果物をベースに、AIが自律的に修正とブラッシュアップを実行します。
この自己採点とブラッシュアップのループは、スコアの向上が見られなくなる（精度が頭打ちになる）まで、何度も何度も自動で繰り返されます。
単一のプロンプトを用いたAIへの丸投げではなく、妥協を一切許さずにAIの限界まで品質を高めつづけるこの仕組みこそが、人間の熟練者に匹敵するテストケースを生み出す源泉なのです。
12,000ケースのテスト設計期間を半分以下に
この新たなテスト設計手法は、実際の開発現場ですでに高い成果を上げています。
例えば、12,000ケースに及ぶ大規模なプロジェクトにおいて、このAI駆動のアプローチを適用した結果、人手がつくるのと遜色のないクオリティを維持したまま、通常であれば1ヶ月を要するテスト設計期間を、わずか0.4ヶ月へと削減することに成功しました。
私たちは、この取り組みで得られた知見と技術をSHIFTのサービスに組み込み、お客様への価値提供につなげていこうと考えています。今後の発信にもぜひご注目ください。
（※本記事の内容および取材対象者の所属は、イベント開催当時のものです）
