総プロジェクト数30、社内メンバー20人。大規模なAI案件を品質PMOとしてとり仕切る

──担当したAI案件について教えてください。 

H.C.：急速に普及するAI自動音声通話システムの開発案件にたずさわりました。総プロジェクト数は30にのぼり、つねに複数案件が同時に進行している大型案件でしたね。 

システムは、「ユーザーが発話した音声を文字変換してBotに取り込む」「出力した文字列を音声変換してユーザーに届ける」という2段階の動作によって通話を成立させる仕組み。まさに最新鋭の技術を扱うプロジェクトでした。 

──どのような経緯で受注に至ったのでしょうか。 

H.C.：「業務負荷を軽減するために参画してほしい」と依頼され、品質PMOとしてプロジェクトの途中から加わりました。 

聞くと、プロジェクト数が多くお客様側の品質担当者が品質の根本改善といった、ほかの仕事を進める余裕がなくなってしまっていたことが背景にあったようです。 

──SHIFTの体制は？ 

H.C.：私を含む品質PMO2人で立ちあげて、プロジェクト全体のインプットを進めながらスケジュールを策定しました。その後、新規開発と並行してメンバーが増員。総勢20人が稼働した時期もありました。

生産性向上に向けて、開発の上流工程にも伴走する

──SHIFTへの期待値はどのようなものだったのでしょうか？ 

H.C.：品質PMOのミッションは、お客様のニーズにあわせて、あらゆる手段を用いながら品質を向上させることだと考えています。 

そのなかで今回は「テストにおける生産性を150%向上させる」という提案でほかのベンダーが受注されていたこともあり、前述のミッションを引きつぐ形になりました。 

ヒアリングの結果、リグレッションテストは1ケースあたり約1.5分という試算。当時はどのようにして、1分を切るかを考えていましたね。 

──リグレッションテストの効率化から着手されたのでしょうか？ 

H.C.：いえ、テストケースを削減することからはじめました。なぜならリグレッションテストは実行フェーズであり、より上流工程から改善に取り組まないと最大の効果を得られないと判断したからです。 

──テストケースの削減はどのように取り組まれたのでしょう？ 

H.C.：SHIFTがテスト設計・実行を担っていたので、テストを繰り返し実施するなかで、不具合が発生しないケースを各所で把握していました。

新規開発中のアプリケーションを確認すると、設計がパターン化されていることに気づけたことも大きいです。 

類似するような設計で不具合が発生していなければ、違うプロダクトでもテストケースを削減できるのではないか。という仮説のもと開発チームを巻き込みながら推進しましたね。 

当初、本当に削減しても大丈夫だろうか？という気持ちから保険的にテストを実装しましたが、結果的に本番障害はゼロ。

お客様から信頼していただき「SHIFTさんがいうなら大丈夫だろう」とお墨つきをいただけるようになりました。 

──自動音声通話システムは、一般的なアプリ画面ではないので、テストの難易度が高そうですね。 

H.C.：視覚的に判断できないこともあり、少し難易度はあがるかなと思います。開発の設計図は会話の樹形図を想像していただけるとわかりやすいかなと。

YesであればNoであれば 、1であれば2であれば、と分岐しながら網羅的に広がっているイメージです。 

そのなかでいかに、似たようなシナリオを探すか。例えば、お名前を聞きとるシナリオはほかにはないか、樹形図をふまえてあたりをつけていく。 

並行してテストケースや機能ごとに、バグが出やすい部分を調査分析しながら、パターンで当てはめていくようなイメージです。 

──開発の上流工程に入りこまないとむずかしそうですね。 

H.C.：そうですね。プロジェクトの中盤から開発のキックオフに参画、設計書も展開いただきました。QA目線で疑問点をレポートすることで設計書の精度向上にも繋がり、手戻りの削減にも貢献できたと思います。 

実際、こうした入り込み方はテスト完了までのリードタイムに大きく影響を与えます。仮にテスト実行期間が10営業日として、1週間に1回つまずくと、12~13営業日になってしまうところを、実質2~3営業日は短縮できたのではないでしょうか。 

要求分析をふまえた、提案と実行で成果を生む 

──お客様側社員の多忙により自動化ツールの改善まで手がまわっていなかったところにも大きな貢献をされたと聞きました。 

H.C.：テスト自動化ツールは一定稼働しているものの、最大限に活用できていない、より活用したい。という声はいただいていました。

たしかに触ってみると一定の動作はするものの、お客様が理想通りには動かない。 

正直、最初はなぜ動かないのかわかりませんでした。数多プロジェクトがあるなかで、動くもの、動かないものがあったりして。課題を内部で検討、トライ＆エラーを繰り返していきました。 

ツールを動かすために、設計書やドキュメントを自動化ツールの仕様にあわせて修正していく日々がつづきましたね。 

──すぐに活用できたわけでは、なかったんですね。 

H.C.：自動化ツール自体の改修も必要だったので、開発をしたお客様の別部署に対して、疑問を感じることなく受け止めていただけるようフィードバックすることに頭を使いましたね。 

その準備としてお客様の品質担当者と密に連携し改修することのメリットや、方法・手順について定量定性の材料をかき集めて、お客様の品質担当者と一体となって改修への合意形成を得られたときは非常にうれしかったですね。 

──想像以上に地道なアクションの積み重ねですね。 

H.C.：結果的に自動化ツールの改修も進み、ツールとして機能するようになり、リグレッションテストの工数は1／3 になりました。

15 営業日 25 人日かかっていたところが、5営業日 7人日で終わるように。1ケースにかかる工数も1.5分から0.7分に削減されました。 

プロジェクトを離れる直前でしたが、リグレッションテストが本当に一瞬で終わって。控えめにいっても感動的な情景でしたね。 

「やっていける」というたしかな手ごたえ 

──次の案件が開発の上流工程を支援するプロジェクトだったと伺いましたがどのようにアサインが決まったのでしょうか？ 

H.C.：PMOとしてワークできたことを上長に認識いただき、信頼を得られたことが関係しているのかなと思います。 

当然、参画後にむずかしい局面もあったのですが「潜在・顕在双方の課題を見極め、具体的な提案を通じて実現するためにどうするのか」を考えることは品質PMOで経験してきたものと同じでした。

経験が糧になり、やっていけるというたしかな手ごたえがありましたね。 

──特に、手ごたえを感じたポイントは？ 

H.C.：参画1週間でコミュニケーションの仕方、不具合分析の導入などの課題提案をお客様にもっていきました。スピード感をもってレポートをあげることへの抵抗は一切なく、以前のプロジェクトで鍛えられたなと感じましたね。 

本アサインの可否を決めるお試し期間が1ヶ月あったのですが、立ちあがりのはやさを認めていただき、継続で指名いただけたのはうれしかったです。 

──最後に、品質PMOで身につけられるものについて教えてください。 

H.C.：品質管理は、対象のプロダクトやシステムそのものだけではなく、計画段階や開発プロセスにまでさかのぼって問題をみつけていく役割を担っています。

課題抽出と解決に向けた提案～実行を経験することができ、間違いなく上流工程においても活かせる経験です。 

あらためて、品質PMOは上流工程を目指すにあたって、最初のステップにはもってこいかなと思います。興味のある方は、ぜひSHIFTの門をたたいてみてください。 

（※本記事の内容は、取材当時のものです）