Alibaba CloudならMLOpsをこう実現できる
こうしたMLOpsのワークフローをクラウドで実践していくことを考えると、そのクラウドには次のような要件が求められるのではないだろうか。まず長時間稼働できること。機械学習は処理にどのくらいかかるのか把握しにくい。分単位で終わることもあれば、数時間かかることもある。その点、プロセス可視化も重要となる。データサイエンティストからインフラの専門家など、MLOpsではさまざまな専門家が寄り集まるため、共通認識を持つためにもプロセスの可視化や状態監視はとても重要になる。
また機械学習だとDevOpsほど流れは一方通行でスムーズではなく、「ここは進めてみよう」「いや戻してやりなおそう」と関係者で協議して模索することもあるため、イベント損失なし、ステップの再テスト、状態の永続性なども必要になる。加えてクラウドとしての高可用性、低遅延、拡張性、コスト効率、低保守運用コストなども当然求められる。
MLOpsは幅広いものなので、例えばAmazonならSageMaker、Microsoft AzureならAzure Machine LearningやAzure Databricks、Google CloudならVertex AIなど、各種製品やサービスが実在する。Alibaba CloudにもAI／機械学習製品はあるものの、泉氏によると、さまざまなユースケースに対応するには「まだ帯に短したすきに長し」なので、おすすめは「サーバーレス製品をうまく組み合わせること。もしかしたら手間がかかるが、柔軟かつコストも自由にコントロールできるシステムができます」と言う。
Alibaba CloudにあるMLOpsで有効なサービスには、サーバーレス関数を実行する「Function Compute（FC）」（AWSならLambda）、これらのサーバーレス関数を連携して動かすワークフローには「Serverless Workflow（FnF）」が有効だ。
コンテナ関係ではKubernetesベースのコンテナサービス「Alibaba Cloud Container Service for Kubernetes（ACK）」、企業向けのセキュリティ機能も備えたコンテナレジストリ「Alibaba Cloud Container Registry（ACR）」がある。オブジェクトストレージは「Object Storage Service（OSS）」（AWSならAmazon S3）がある。泉氏は「費用対効果の高いストレージ基盤」と言う。
実際にこれらのサービスを駆使したMLOpsソリューションがある。最初はAlibaba Cloudの技術ブログに「Serverless Machine Learning Pipeline in Production」として紹介され、GitHub上でもawesome-fnf/machine-learning-pipelineプロジェクトとして公開されている。これをベースに最新のクラウド環境に合わせ発展させたものをここから紹介する。
アーキテクチャは下図の通り。コードを更新後にアルゴリズムやパラメーターを調整してからコンテナレジストリにコミットすると、このコンテナイメージでビルドする。それがトリガーとなり、サーバーレス関数のFCが実行され、機械学習のパイプラインに移る。
パイプラインでモデルのトレーニングやデプロイに進むと、廉価に使える関数が動いてKubernetesのAPIサーバー経由でジョブが実行される。トレーニングしたものはクラウドストレージに蓄積され、ここからデプロイされる。こうした形で反復的な機械学習のプロセスが可能となり、テストまで自動的に進む。最後に人間が結果を見て「OK」と信任を与えると、本番環境にデプロイされる。
泉氏は「このようにサーバーレスのサービスを組み合わせると、高可用性、低遅延、無制限の拡張性を得ることができます。Alibaba Cloud環境ですと、コストを抑え、運用効率も良く、可視化に優れています。またAlibaba Cloudには、企業レベルのデータモデリングサービスのためのプラットフォームとなるMachine Learning Platform for AI（PAI）もありますので、これと組み合わせるのも面白いと思います」と話す。こうしたものをベースにすれば、Alibaba CloudでMLOpsの環境を構築するのも現実味を帯びてきそうだ。
Alibaba Cloud 無料トライアル！
以下のページからの申し込みで、Alibaba Cloudの50以上の無料オファー（$1700〜$8500相当）を提供します。
コンピューティング、ネットワーク、データベース、ストレージ、セキュリティ、エンタープライズアプリケーション、分析、AI、開発サービス等が無料で体験できます。
詳しくはAlibaba Cloud公式サイト 「無料トライアル」をご覧ください。
