Vercelは1月22日（現地時間）、AIエージェントがGitHubのイシューやプルリクエストなどの半構造化データをどのように効率よく検索・分析できるかを評価した実験結果を、Braintrustと共同で発表した。
SQLエージェント、bashエージェント、基本的なファイル操作エージェントの三手法で同じクエリを実施し、SQLが100%の正答率だったのに対し、bashは約53%、ファイル操作エージェントは63%にとどまった。bashエージェントは高度なシェルスクリプト生成能力を示したが、実際のタスク精度にはつながらなかった。
更に、データセットや評価方法の見直しとbashツールの最適化により、bashとSQLを組み合わせるハイブリッド手法を試験。SQLの正確さに加え、bashによる結果の検証で自己確認機能が加わり、常に100%の精度となった。評価用ツールはオープンソースで提供されている。
- 関連リンク
この記事は参考になりましたか？
- この記事の著者
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
