最終プレゼンレポート①
参加者同士の投票を経て、最終プレゼンに進んだのが「一人暮らしーズ」「ひとくち」「デジタルコンテンツ」「Poietra」の4チームだ。ここからは各チームが開発したプロダクトとプレゼン内容をレポートする。
料理の写真1枚で自炊を続けさせる「まいにち食堂」
チーム「一人暮らしーズ」の「まいにち食堂」は、「自炊をする人に、料理の写真1枚で『また作りたくなる楽しさ』を届けるプロダクト」だ。
着想を得たのは、一人暮らしには誘惑が多いという、参加者の実体験だ。時間通りに起きる、約束を守る、部屋を掃除する。そうしたことが不得意になり、生活がうまく送れない。この中でAIで解決できないかと考えたとき、選んだ課題が「自炊」だった。献立を決め、食材を買い、調理し、食べた皿を片付ける。そこまで考えるとハードルが高くなり、思わず外食に流れる。一人暮らしで金銭的な余裕もないため、外食が続けば貯金は底を突き、健康も害してしまう。
そこで使ったのが「育成ゲーム」の動機づけだ。自炊を直接強制するのではなく、続けたくなる理由を別に用意する設計である。発表者は、このフォーマットが自炊に限らず、早起きや勉強といったあらゆる習慣に応用できると、その発展性を示した。
Codexの活用でとくに具体的だったのが、開発の分担とデバッグの方法だ。店舗・内装・動物キャラクターの仕様と共通ルールをCodexに渡してコードと単体確認ページを生成させ、作成・検証手順をSkill化して、各部品を確認してからアプリに統合する。
さらにCodexでブラウザを操作させて実画面でデバッグを行い、「客の顔がカウンターに隠れる」といった問題を発見した。座る高さや表示を調整し、写真登録から配膳、店舗の成長まで21項目の動作検証を通した。
アクセシビリティー＆インクルージョンを主眼に、読唇AIと手話AIで会話をつなぐ「ことばリンク」
チーム「ひとくち」が発表した「ことばリンク」は、「読唇AI・手話AIで、聴覚の違いを越えたコミュニケーションを実現」を掲げたプロダクトだ。発表者は「Zoomのスーパープロ版を作りたかった」と表現する。
課題に挙げられたのは、日常にありふれたものだった。相手がカフェや駅にいて、騒音で声が聞こえない。電車の中で急に話しかけられ、声を出せない。手話を使う相手に、会話が通じない。音声中心のオンライン会議はこうした環境や個人の能力の違いをサポートできておらず、理解や公平性の担保に弊害が生じている。
解決策は、音声・読唇・文字・手話をAIでつなぎ、誰もが自分に合った方法で会話できるようにすること。騒音時は字幕で内容を理解し、声を出せない場合は読唇AIのAuto-AVSRで口の動きから発話内容を推定する。手話はUni-Signでテキストに変換し、TTSで音声にして相手に伝える。読唇・手話ともに複数のモデルを試したうえで、性能の良かったものを選んだという。
Codexは、仕様書からデモアプリを生成して人による動作確認とAIによる修正を繰り返す工程、読唇モデルと手話モデルとアプリケーションの接続とCloudflareへのデプロイ、そして候補モデルの選定からデータセット生成、環境構築・推論、他モデルとの比較に使われた。既存の研究モデルを実際に動くアプリケーションへつなぎ込む工程に、Codexが用いられている。
