無償デスクトップ自動化ツール「Power Automate Desktop」とAI機能作成サービスを組み合わせてみる

Power Automate Desktopチュートリアル　第16回

JSONから画像を説明している部分を取り出す

　JSONに結果は入っていますが、不要な情報も含まれているため結果が分かりづらいかもしれません。そこで、結果と呼べるような情報を抽出します。引き続き同じフローにアクションを追加します。

［1］ファイル名にする現在時刻を取得する

　［日時］アクショングループから［現在の日時を取得］アクションを配置します。

図：現在の日時を取得アクションの配置

　設定ダイアログが開きますが、そのまま保存します。

［2］日付を文字列にフォーマットする

　［テキスト］アクショングループから［datetimeをテキストに変換］アクションを配置します。

図：datetimeをテキストに変換アクションの配置

図：datetimeをテキストに変換アクションの設定

　以下の選択・入力をして保存します。

• 変換するdatetime：%CurrentDateTime%
• 使用する形式：カスタム
• カスタム形式：yyyyMMdd_HHmmss

［3］ファイル名を作成する

　［変数］アクショングループから［変数の設定］アクションを配置します。

図：変数（ファイル名）の設定アクションの配置

図：変数（ファイル名）の設定アクションの設定

　以下の入力をして保存します。

• 変数：%filePath%
• 値：%NewFolder%\%SelectedFile.Name%%FormattedDateTime%.txt

［4］応答のJSONにある説明をループする

　［ループ］アクショングループから［For each］アクションを配置します。

　結果JSONの中身を参考に、複数の「説明文」を抽出します。

図：For eachアクションの配置

図：For eachアクションの設定

　以下の入力をして保存します。

• 反復処理を行う値：%JSONResponse.description.captions%

［5］一つの説明文をテキストファイルに追加する

　［ファイル］アクショングループから［テキストをファイルに書き込む］アクションをFor each-Endの中に配置します。

図：テキスト（説明文）をファイルに書き込むアクションの配置

図：テキスト（説明文）をファイルに書き込むアクションの設定

　以下の入力・選択をして保存します。

• ファイルパス：%filePath%
• 書き込むテキスト：%CurrentItem.text%
• ファイルが存在する場合：内容を追加する
• エンコード：UTF-8

［6］ファイルを開く

　［システム］アクショングループから［アプリケーションの実行］アクションをEndの後に配置します。

図：アプリケーションの実行アクションの配置

図：アプリケーションの実行アクションの設定

　以下の入力・選択をして保存します。

• アプリケーションパス：%filePath%

［7］フローを実行する

　フローを保存して実行します。ダイアログでは画像ファイルを選択してください。

図：実行結果

　この例では、説明文候補を10個すべて無条件に抽出しているため、正確でないものも含まれています。JSONで説明文とともに出力されているconfidence値が低いものは正確ではありませんので、閾値を決めてそれより高いconfidence値のもののみを出力すると説明文の正確性が高くなります。

　本稿では、［画像を記述します］アクションについてフローを作成しましたが、［画像を分析します］［画像をタグ付けします］アクションも同様に取り扱うことができます（［画像を分析します］は言語:jaとすることで応答データを日本語にすることができます）。

まとめ

　Power Automate for Desktopから人工知能（Azure Cognitive）を呼び出すサンプルを紹介しました。今後、人工知能やそれを利用したサービスが人間の代わりにできる業務作業の範囲は広がっていくと思われます。このようなサービス呼び出しをPower Automate for Desktopによる自動化フローに組み込むことにより業務効率化・生産性向上が期待できます。