ガードレール、ルーティング、コスト制御……新時代のプラットフォームが担う機能とは
──APIを管理するプラットフォームの変化についても教えてください。通信のセキュリティや、不適切なプロンプトあるいは機密情報を含むリクエストを遮断するガードレール機能など、AIエージェントの浸透によってその役割が広がっていく展望はあるのでしょうか。
Marco：もちろん、LLMやMCPサーバーもAPIの一種です。ですから、それらを従来の汎用的なAPI管理ソリューションの背後に配置することは可能です。
しかし、それだけでは役に立ちません。なぜなら、汎用的なAPI管理の方法では、AIトラフィックのコンテキストを理解できないからです。
エージェントからLLMやMCPサーバーに送信されるすべてのプロンプトの意味を、セマンティックに理解する必要があります。Kongでも「AI Gateway」としてこの役割を担うプロダクトを提供しています。
Marco：「AI Gateway」には、例えば異なるベンダーの複数のLLMであっても、1つのユニバーサルAPIを通じて利用できる機能があります。これを利用すれば、エージェントを構築した後、コードを書き換えることなく、最適なモデルを選択できるようになります。
また、エージェントがモデルに送信するすべてのトラフィックに対して、ガバナンスとコンプライアンスを提供するガードレールの設定や、プロンプトの意味を理解して、特定のタスクに合わせてより適切な追加学習がされたモデルへとルーティングする機能なども提供しています。あるいは、単純なプロンプトは安価なモデルへ、複雑なプロンプトは高価で高性能な推論モデルへとルーティングし、コストをコントロールすることも可能です。
これらの機能は「LLMやMCPサーバーもAPIの一種」というレベルを超えて、リクエストに使用される実際のプロトコルに深く踏み込んだものです。APIの管理プラットフォームは、AIの活用を支援するためにここまで役割を広げています。
──AIの導入については、テクノロジーとメディアの分野で特に業務での導入が進んでるというお話もありました。
Marco：テクノロジーやメディアの分野でAIの導入が進んだのは、それらがもともと通信を前提に業務を行っていたためです。AIエージェントはさまざまなサービスとつながることで能力を発揮します。先ほど挙げた業界ではその準備が整っていたと言えるでしょう。
今後他の分野でもAIを活用するためには、同じように「接続できること」が重要になります。
