SHOEISHA iD

※旧SEメンバーシップ会員の方は、同じ登録情報(メールアドレス&パスワード)でログインいただけます

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

CodeZineニュース

Cloudflare、AIサービスの呼び出し回数などを記録できる「AI Gateway」を提供開始

  • X ポスト
  • このエントリーをはてなブックマークに追加

  • X ポスト
  • このエントリーをはてなブックマークに追加

 米Cloudflareは、AIサービスのAPI呼び出しの回数などを記録できるサービス「AI Gateway」の提供を9月27日(現地時間)に始めた。現在のところ、OpenAI、Hugging Face、ReplicateのAIサービスに対応する。

 AI Gatewayは、AIサービスのAPI呼び出しを記録するサービス。ユーザーが構築したアプリケーションからのAPI呼び出しを記録し、呼び出し回数をグラフなどの形で表示できる。利用するには、ソースコード中のAPI呼び出しURLを書き換えるだけでよい。API提供業者ごとに呼び出し回数を集計することも可能だ。

 ほかにも、呼び出し時にトークンを使用した回数や、エラーの回数、API呼び出しにかかる総コストなどをグラフの形で表示できる。さらに、1回1回の呼び出しをログとして記録し、後から見返すことも可能になっている。

 また、あるAPIがトラブルで停止しているときに、あらかじめ設定しておいた別のURLを呼び出すようにして、アプリケーションの耐障害性を高める使い方や、単位時間ごとの呼び出し回数を設定し、API呼び出しがその回数を超えないように制御することで、アプリケーションの運用コストを抑える使い方なども可能になっている。

 Cloudflareは将来、AIサービスの呼び出すを監視して、秘密データの漏えいを防ぐ機能などをAI Gatewayに盛り込む予定だとしている。

関連リンク

この記事は参考になりましたか?

  • X ポスト
  • このエントリーをはてなブックマークに追加
この記事の著者

CodeZine編集部(コードジンヘンシュウブ)

CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。

※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です

この記事は参考になりましたか?

この記事をシェア

  • X ポスト
  • このエントリーをはてなブックマークに追加
CodeZine(コードジン)
https://codezine.jp/article/detail/18455 2023/10/04 11:00

おすすめ

アクセスランキング

アクセスランキング

イベント

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

新規会員登録無料のご案内

  • ・全ての過去記事が閲覧できます
  • ・会員限定メルマガを受信できます

メールバックナンバー

アクセスランキング

アクセスランキング