米Microsoftは、ワークフロー自動化ツール「Power Automate」において、2022年10月にリリースしたAIチャットボットとの対話ベースによる支援機能で行った改善の詳細について、Power Automate公式ブログ4月4日(現地時間)付の投稿にて解説している。
同機能の開発にあたっては、管理者によって共有された、ユーザーが入力した文や生成されたフローの詳細を使用して、提案と承認の成功率がもっとも低い文を特定した。さらに、そのデータを使用して、それらの箇所を対象とするサンプルフローを生成し、そのサンプルデータを使用することでモデルのさらなる微調整を行っている。
その後、2022年11月にNL2Flow-003、2023年1月にNL2Flow-004と2回のモデル改良が行われており、NL2Flow-002と003の間では、フロー承認率が3.0ポイント上昇し52.6%になるとともに、NL2Flow-003と004の間では、提案の成功率が2.2ポイント上昇し90.3%となった。
あわせて、現在のモデルと新しいモデルを比較するA/Bテストを行うことで、モデルが改善に直接関与していることを確認しているという。
この記事は参考になりましたか?
- この記事の著者
-
CodeZine編集部(コードジンヘンシュウブ)
CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です