OpenAI、AIによる自動でのGUI操作を可能にするエージェント「Operator」を発表

　米OpenAIは、Webにアクセスしてタスクを実行できるエージェント「Operator」のリサーチプレビューを、1月23日（現地時間）に開始した。

　Operatorは、GPT-4oの視覚機能と強化学習による高度な推論機能を組み合わせたモデルである、Computer-Using Agent（CUA）によって実現されている。

　CUAは、人間と同じく画面に表示されるボタン、メニュー、テキストフィールドといったGUIを操作するようにトレーニングされており、OSやWeb固有のAPIを使用することなく、デジタルタスクを柔軟に実行できる。

　具体的には、ピクセルデータの処理によって画面上で何が起こっているかを把握し、仮想マウスとキーボードを使用してアクションを実行する。複数のステップで構成されるタスクをナビゲートして、エラー処理や予期しない変更にも対応可能なため、さまざまなデジタル環境で動作し、特殊なAPIなしでフォームへの入力やWebサイトのナビゲートといったタスクを実行できる。

　ユーザーからの指示に応じて、以下のような認識、推論、アクションを反復して動作する。

• 認識：コンピュータのスクリーンショットがモデルのコンテキストに追加され、コンピュータにおける現在の状態の視覚的なスナップショットが提供される
• 推論：現在および過去のスクリーンショットやアクションを考慮しつつ、思考の連鎖で次のステップを推論することで、モデルが観察を評価し、中間ステップを追跡して、動的に適応することができ、タスクのパフォーマンスが向上する
• アクション：タスクが完了したか、ユーザー入力が必要であると判断されるまで、クリック、スクロール、入力といったアクションが実行される。ほとんどの手順は自動的に処理されるものの、ログイン情報の入力やCAPTCHAフォームへの応答といった、機密性の高いアクションについては、ユーザーからの確認を求める

　CUAは、まだ初期段階であり限界もあるものの、さまざまなテストで優れた結果を発揮しているという。

　現時点では、OperatorのWebサイトにてリサーチプレビューを行っており、アメリカにおけるChatGPTのProプランユーザーから提供が開始される。