Google、パイプライン処理で機械学習ワークフローをスケーリングする「Vertex Pipelines」を一般提供

　米Googleは、パイプラインとして実行することで、機械学習ワークスローのスケーリングを実現する「Vertex Pipelines」の一般提供を、11月11日（現地時間）に開始した。

　機械学習におけるパイプラインは、一連のステップとしてカプセル化されたワークフローであり、各ステップはコンテナで、それぞれの出力は次のステップへの入力になるが、以下のような課題がある。

• 機械学習パイプラインを機能させるには、個々のパイプラインステップをコンテナに変換する方法が必要となる
• 個々のパイプラインステップをコンテナに変換するには、パイプラインを大規模に実行するためのインフラストラクチャをセットアップする必要がある

　個々のパイプラインステップをコンテナに変換し、パイプライン全体の入出力アーティファクトのフローを管理するオープンソースライブラリがいくつか存在しており、Vertex PipelinesではそのうちKubeflow Pipelines（KFP）とTensorFlow Extended（TFX）をサポートしており、どちらか一方を使用してパイプラインを定義し、Vertex Pipelinesで実行できる。

　また、Vertex Pipelinesは完全にサーバレスであり、KFPまたはTFXのパイプラインをアップロードして実行すると、Vertex AIがインフラストラクチャのプロビジョニングとスケーリングを処理し、パイプラインを実行するため、データサイエンティストは、インフラストラクチャを気にすることなく、機械学習への集中が可能になる。なお、料金はパイプラインの実行中に使用されたリソースに対してのみ発生する。

　さらに、Vertex AIやGoogle Cloudの他のツールとの統合にも対応しており、BigQueryからデータをインポートして、Vertex AIでモデルをトレーニングし、Cloud Storageにパイプラインアーティファクトを保存し、モデル評価指標を取得し、モデルをVertex AIエンドポイントにデプロイできる。

　なお、これらの作業を容易にすべく、Vertex Pipelines用ビルド済みコンポーネントのライブラリも作成しており、データセットの作成やAutoMLモデルのトレーニングといった、パイプラインステップでVertex AIの他の部分を使用するプロセスの簡素化を可能にしており、ビルド済みのコンポーネントライブラリをインポートして、ライブラリのコンポーネントをパイプライン定義で直接使用できる。