米Googleは、自動スケーリングとバッチ処理を通じてレイテンシ、処理時間、コストを最小限に抑えるフルマネージドストリーミング分析サービスDataflowの、ユースケースの拡大とデータ処理のワークロードの向上を実現する3つのメジャーリリースとなる、「Dataflow Prime」「Dataflow Go」「Dataflow ML」の一般提供を、7月21日(現地時間)に発表した。
「Dataflow Prime」は、ストリーミングデータ処理ワークロードに対して水平自動スケーリング(より多くのマシン)と垂直自動スケーリング(より多くのメモリを備えたより大きなマシン)の両方を自動的に利用できる。パイプラインがより効率的になり、インサイトをリアルタイムで適用可能になる。
「Dataflow Go」は、バッチデータ処理ワークロードとストリーミングデータ処理ワークロードの両方に対して、Go言語のネイティブサポートを提供する。Apache Beamの独自の多言語モデルによって、パイプラインはML変換を備えた幅広いJava I/OコネクタとPythonのI/Oコネクタによる、クラス最高のパフォーマンスを活用できる。
「Dataflow ML」は、パイプライン内で直接PyTorchモデルとscikit-learnモデルを実行することが可能で、非常に少ないコードでモデルを本番パイプラインにて使用でき、シンプルさを実現する。
- 関連リンク
この記事は参考になりましたか?
- この記事の著者
-
CodeZine編集部(コードジンヘンシュウブ)
CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です