米Anthropicは、大規模言語モデル（LLM）「Claude」シリーズにバッチ処理を依頼するAPI「Message Batches API」を10月9日（現地時間）にパブリックベータとして公開した。
Message Batches APIを利用すると、開発者は大量の問い合わせ文（プロンプト）を一括で送信できる。Anthropicのサーバーは、一括で届いた大量のプロンプトを、24時間以内に処理して結果を返す。Anthropicによると、バッチ処理を利用するとAPI呼び出しにかかるコストを半額程度に抑えることができるという。そして、大量のデータから複雑な推論をする際など、複雑な処理に向くとしている。
Message Batches APIを利用する際には、JSON形式で記述した大量のプロンプトをHTTPSで送信する。1回の呼び出しで、最大1万件のプロンプト（あるいは合計で最大32Mバイト）を送信できる。
利用料金は、Claude 3.5 Sonnetで入力トークン100万当たり1.5米ドル、出力トークン100万当たり7.5米ドル。Claude 3 Opusで入力トークン100万当たり7.5米ドル、出力トークン100万当たり37.5米ドル。Claude 3 Haikuで入力トークン100万当たり0.125米ドル、出力トークン100万当たり0.625米ドル。
この記事は参考になりましたか？
- この記事の著者
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
