監視する側──Wayfoundの「完了の印は存在しない」
2つ目のセッションは、AIエージェントを監督・改善するプラットフォーム「Wayfound」の共同創業者兼CEO、Tatyana Mamut氏。聞き手は同協会理事の花井梓氏（Homage. 執行役員CPO）が務めた。Mamut氏は経済人類学で博士号を取得してデザインファームのIDEOでキャリアを始め、Salesforce、AWS、Pendo、Nextdoorでプロダクト部門を率いたのち、2024年に創業している。
氏の主張の芯にあるのは、ソフトウェア開発の輪の形が壊れたという指摘だ。従来の開発は、作って、テストして、リリースして、あとは監視の仕掛けを入れておく、という流れを繰り返してきた。リリースの時点でその案件には「完了」の印を付け、次のプロジェクトへ移れた。ところがLLMの上で動くAIエージェントでは、そうはいかない。
「AIエージェントに『完了』の印を付けるということは存在しない」
AIエージェントは、ソフトウェアと人間の従業員のちょうど中間にいる。人間と同じように、同じ指示でも毎回まったく同じ振る舞いをするとは限らない。それなのに、中身のかなりの部分はソフトウェアでできている。だからリリース後も、言ったとおりに働いているかを確かめ続ける役目が新しく生まれる。
そしてMamut氏は、その役目を負うのはプロダクト側の人間だという。かつてソフトウェアエンジニアが監視ツールでやっていたことを、これからはプロダクトリーダーが自分の道具でできなければならない。エンジニアに頼んで結果を聞く、という伝言ゲームを続けている場合ではない、というわけだ。
すでに広く使われているeval（AIの出力を自動で採点する評価テスト）との違いも明快だった。evalが効くのは、リリース前に「どんな失敗を探すか」を狭く決められる場合に限られる。有害な発言をしないか、指示にないツールを呼ばないか──あらかじめ想定した失敗について、イエスかノーで返ってくる。
対してWayfoundが作るのは、監督対象のエージェントが何をすべきかを自分で学ぶスーパーバイザーエージェント、つまり監督役のAIだ。何十回、何百回という利用履歴をまたいで、やりとりやツールの呼び出し、AIが答えを出すまでの考えの筋道を読み、こちらが指定していない異常まで拾って、担当のプロダクトマネージャーに問いを投げてくる。
「直近60セッションではエージェントはこう振る舞っていましたが、61、62、63セッション目では違うことをしています。これは問題ないですか？」
実演で示された例が分かりやすい。同社サイトの営業対応エージェントで、「常に自分がAIエージェントであると開示し、人間のふりをしてはならない」という決まりの違反率が90％を超えた。監督役のAIはこれを異常と見て、人間に質問を返してきたという。数週間動いているエージェントで違反率が90％を超えるなどありえない、自分がこの決まりを読み間違えているに違いない──と。実際は、名乗りは会話のどこかでできていればよいという趣旨で、監督役の解釈がずれていた。
こうした食い違いは、リリース前のテストでは出てこない。同じモデルでも時間とともに振る舞いが変わっていくモデルドリフトがあるため、探しに行かなければ最初の1、2か月は気づけないのだという。
同社自身もAIネイティブな組織だ。人間は数人で、それぞれが実作業をこなすエージェント群を率いている。「うちの2人のエンジニアチームは、AWS時代の私の30人のエンジニアチームよりも生産的です。冗談ではありません」
質疑で「人間とAIが同じ組織で働く時代に、マネージャーに残る仕事は何か」と問われたときの答えは明快だった。「AIエージェントの世界において、プロダクトリーダーはおそらく最も重要な職能」。ビジネスの事情と技術の現実の両方が分かる立場にいるからだ。これからは人ではなくエージェントを率いる「エージェントマネージャー」として、組織の目標と守るべきルール、そして技術的に何ができるかをすり合わせる役割になるという。
「ノー」から始まった国内セッション──差はAIの外にある
3つ目のセッションは、この日唯一の日本語ディスカッションだった。タイトルは「プロダクトの差は、AIの外で生まれる ― 磨き込める人の条件」。モデレーターに二木祥平氏（LINEヤフー 上級執行役員 コーポレートビジネスドメインCPO）、登壇に黒澤隆由氏（GO 執行役員 プロダクトマネジメント本部 本部長／日本CPO協会 理事）、佐藤俊輔氏（カウシェ 執行役員CXO）、山本航氏（クライス＆カンパニー エグゼクティブヴァイスプレジデント）を迎えた。
冒頭の議題スライドは「この1年、AIによってプロダクトは良くなりましたか？」。黒澤氏の答えは即座だった。
「このカンファレンスを丸ごと否定しているような一言から始まるんですけれども、『ノー』ですかね」
働き方は変わり、生産性も開発スピードも上がった。だが、それでユーザーから見たプロダクトが強くなったかというとノーだ、と氏は言う。「どこまで行ってもAIって1つの手段でしかない」「いずれコモディティ化していく」。同じ道具が誰の手にも入るのだから、それ自体は差にならないという見方だ。
佐藤氏も、生産性は大きく改善したが生成AIでプロダクト体験が変わったかというとそうではないと同調した。AI一色のカンファレンスの3本目で、登壇2社がそろって「差はついていない」と答えたことになる。
生産性が上がった分の副作用は、別の工程に現れている。黒澤氏が挙げたのは、リリース前の品質保証（QA）だった。
「QAってAIで自動化しやすいイメージがあるが、AIは基本的に言語化された情報をベースにしている。PRDも設計書も、プロダクトのすべてを書き尽くしてはいない。テストエンジニアの価値は行間を読むことにあり、そこはAIでキャッチアップしにくい」
PRD（プロダクト要求仕様書）にも設計書にも、書かれていない前提がある。それを補って「これはおかしい」と気づくのが人の仕事で、そこは自動化しにくい。開発が速くなった分だけテストの列が伸びる、という詰まり方だ。二木氏が「一緒です」と応じ、LINEヤフーでも同じ現象が起きていることを示した。
差がつかないのだとすれば、どこで差はつくのか。黒澤氏が挙げた磨き込める人の条件は2つだった。1つは、体験の始まりから終わりまで（End to End）を徹底的に考え尽くせること。画面の遷移の話ではない。どういう人がどういう気持ちで、どんな状況で使うのか。1つの機能を考えるときにそこまで考え込めるかどうかだという。誰もが思いつく汎用的な機能なら、AIに簡単に置き換えられる。もう一つは、あるべき姿から逆算して考えられること。氏はこれをロケットから考えると呼ぶ。
「自転車を一生懸命改善したって、自動車にはならない。自動車は飛行機にならないし、飛行機はロケットにならない」
目の前の改善を積み上げても、乗り物の種類は変わらない。到達したい形を先に決めて、そこから逆算するしかないという主張だ。すでに多くのユーザーが使っているサービスで「やってみて失敗したら直せばいい」という姿勢は不誠実だとも述べた。とはいえ、逆算する方向を間違えれば意味がない。それを見極めるのは結局センスだが、「センスは経験で十分に補える」。しかも汎用性が高いのは成功体験ではなく、「こうしたら絶対に失敗する」という失敗体験のほうだという。
佐藤氏が挙げたのは「願い」だった。カウシェが社内でそう呼んでいるもので、お客さまの生活をどうしたいか、世の中をどうしたいかを指す。「お客さま自身も気づいていないけれど、もっとこういうふうになってほしい」という、要望として言葉になる前のものだ。アイデアの選び方も独特だ。同種のプロダクトを世界中まで調べ、そのなかで「この人に刺さっている」という利用者を見つけ、自分にインストールしてなりきる。「ペルソナの方に近いかどうかは、逆にもう意識していない。いかにその方の気持ちになれるか」
採用側の言葉はもっと直截だった。プロダクトマネージャーの転職支援を専門とする山本氏によれば、応募書類は「むしろ画一化してきている」。皆がAIで書くのでそれらしい書類が並び、書類選考での見分けが難しくなった。だから面接では、なぜその意思決定をしたのか、会社から与えられた条件だとしてもそれはなぜだと思うか、と背景まで説明させる質問が増えているという。
「どこの会社に聞いても、言葉は違うけれど結局『地頭だよね』となる」
作業をこなしてきただけの若手は明らかに通らなくなり、逆に経験がなくても地頭がよければ通るようになった。この半年で二極化が進んだ、というのが氏の見立てだ。
では若手はどう上がればいいのか。ここで佐藤氏は逆張りした。「むしろ若手もAIによって経験や情報の下駄を履けるようになった」。ただし成果を出す土台が低いままでは、成果から経験へのサイクルが回らない。だから、AIがあっても時間をかけないとできないこと──例えば顧客に会いに行くこと──で1点突破するのがよい。上の立場の人ほど忙しくて手が回らない領域だからだ。
「とにかくユーザーインタビューをしまくって、お客さまに会いまくった。そうするとその人しか知らないことがあるので頼られる。どんどん何かを任せられて、任せられたときにAIで下駄を履けるので成果が出やすく、いいサイクルに入れる」（佐藤氏）
締めで黒澤氏が置いたのは、学習の回し方の話だった。人はそれぞれ違う経験をし、それが積み重なって自分の中で化学反応を起こしてアウトプットになる。そこはAIに簡単に代替されない。「人を動かすのは人であってほしい。AIに使われる未来なんて嫌じゃないですか」。
山本氏は、中堅層が育ちにくくなっているのは裏返せば「未経験の人でもAIを使ってどんどんシニアになれる時代」だと述べ、佐藤氏は「願いがあってオーナーシップが強い方にチャレンジをアサインしてほしい」と結んだ。
