Shoeisha Technology Media

CodeZine(コードジン)

特集ページ一覧

Facebook Research、画像から人間のサーフェスベース3Dモデルをリアルタイムで作成する「DensePose」をオープンソースで公開

  • ブックマーク
  • LINEで送る
  • このエントリーをはてなブックマークに追加
2018/06/19 17:00

 米Facebook Researchは、2DのRGB画像から人間の姿勢を特定し、サーフェスベースの3Dモデルにリアルタイムにマッピングすることのできる「DensePose」を、Creative Commonsライセンスのオープンソースで、6月18日(現地時間)にGitHubにて公開した。

 「DensePose」は、一般的には10~20個の関節によって行われている人間の姿勢推定を、5000以上のノードで定義される人体全体で行うことで、処理のスピードと精度を向上しており、従来は関節の位置特定のために、外部システムによる支援が必要であり、処理に数分かかっていたが、「DensePose」なら1つのGPUで数十人または数百人を同時に、毎秒複数フレームで処理できる。

 こういった処理を実現するために、Facebook Researchでは5万人分の画像に手作業で画像とサーフェスモデルを対応させるアノテートを付けた「DensePose-COCO」を用意している。「DensePose-COCO」におけるグランドトゥルースには、セグメント化された人体とともに、無作為にサンプリングされた人体の集合が収録されているので、データ学習に必要なtrain/val/testデータが得られる。

 Facebook Researchが開発した「Detectron」のMask-RCNNシステムでは、Region-of-Interest Poolingで完全畳み込み処理を行うことによって、パーツへのピクセルとUV座標の割り当てをトレーニングされた3つの出力チャネルを得ているが、「DensePose」では「Detectron」を密集した人体の姿勢推定のために拡張しており、Caffe2によってMask-RCNNと同等の処理速度を実現した。

 GitHubでは、「DensePose」とともに「DensePose-COCO」のグランドトゥルース、複数の訓練済みモデルが公開されている。

関連リンク

  • ブックマーク
  • LINEで送る
  • このエントリーをはてなブックマークに追加
All contents copyright © 2005-2019 Shoeisha Co., Ltd. All rights reserved. ver.1.5