馴染みの技術からLLM実装まで! 多様なプラグインを活用可能
Kong Gatewayではカスタマープラグイン開発も可能となる。現在Kongには、100以上のプラグインがあり、多数の言語やプロトコルがサポートされているため、自社要件に合わせた開発ができる。Shi氏は「KongはNginxをベースに開発したので、ネイティブにはLuaです。しかしJavaScript、Python、Goなど馴染みのある言語でカスタマープラグインを開発できるのです」と言う。プロトコルもHTTPやRESTはもちろん、GraphQL、gRPCなど「一般的なものはすべて網羅的にサポートしています」とShi氏。
デプロイ方式が柔軟であることも特徴だ。Kong Gatewayはパッケージサイズが30MB程度でコンパクトなので、クラウドやコンテナなど多種多様な環境にデプロイしやすく、スピーディーにスケールアウトできる。
さらにShi氏が「他のゲートウェイ製品に絶対負けません」と強調するのがパフォーマンスの良さだ。スループットは1ノードあたり50k以上のTPSを実現可能だ(およそ8コアのCPUでメモリ16GB程度を想定)。レイテンシもミリ秒未満を実現している。
また開発者にとってうれしいのは自動化かもしれない。Kong Gatewayの設定やデプロイはすべてCI/CDで実行できる。設定変更はシステムがオンラインの状態でできるため、サービスの停止や再起動は必要なく、顧客への影響も最小限で済む。
あらためてShi氏は「先に述べたようにプラグインは100以上あり、全部アウトオブザボックスですぐに利用できます。プラグインのパーツはパッケージに入っているので有効化するだけで、1秒未満で起動します。Kongのプラグインは大きなメリットとなるでしょう」と胸を張る。
プラグインの例として、Shi氏はアクセス制限のプラグインを挙げる。本番環境でアクセスのスパイクが生じたため、ユーザーアクセスを制限するプラグインを活用することにする。ユーザーはプラグインを有効化すれば、システムを稼働させたまま1秒未満でプラグインが機能しはじめて制限がかかるようになる。
オンラインのまますぐ利用できることに加えて「数は関連製品のなかでも最大級」とShi氏は言う。プラグインには認証認可に関わるもの、流量制限をかけるもの、ロギング、サーバーレス、セキュリティなどがある。これらは「プラットフォームに依存せず、APIに付加価値を追加できます」とShi氏は言う。
さらにShi氏は(2月16日)Developers Summit当日に発表された「AI Gateway」についても、いち早く解説してくれた。LLM実装の統合を可能にする「ai-proxy」プラグインや、AI機能を組み込むことができる「ai-request-transformer」と「ai-response-transformer」プラグインなどAI関連のプラグインが多く実装されている。本機能により、AIの導入時の障壁は取り払われ、AI搭載アプリケーションを迅速に提供できるようになるという。Shi氏は「Kongのプラグイン開発のスピードは早いので、新しいプラグインがどんどん出てきますので、ぜひOSSで試してみてください」と話す。