Facebook Research、画像から人間のサーフェスベース3Dモデルをリアルタイムで作成する「DensePose」をオープンソースで公開

　米Facebook Researchは、2DのRGB画像から人間の姿勢を特定し、サーフェスベースの3Dモデルにリアルタイムにマッピングすることのできる「DensePose」を、Creative Commonsライセンスのオープンソースで、6月18日（現地時間）にGitHubにて公開した。

　「DensePose」は、一般的には10～20個の関節によって行われている人間の姿勢推定を、5000以上のノードで定義される人体全体で行うことで、処理のスピードと精度を向上しており、従来は関節の位置特定のために、外部システムによる支援が必要であり、処理に数分かかっていたが、「DensePose」なら1つのGPUで数十人または数百人を同時に、毎秒複数フレームで処理できる。

　こういった処理を実現するために、Facebook Researchでは5万人分の画像に手作業で画像とサーフェスモデルを対応させるアノテートを付けた「DensePose-COCO」を用意している。「DensePose-COCO」におけるグランドトゥルースには、セグメント化された人体とともに、無作為にサンプリングされた人体の集合が収録されているので、データ学習に必要なtrain／val／testデータが得られる。

　Facebook Researchが開発した「Detectron」のMask-RCNNシステムでは、Region-of-Interest Poolingで完全畳み込み処理を行うことによって、パーツへのピクセルとUV座標の割り当てをトレーニングされた3つの出力チャネルを得ているが、「DensePose」では「Detectron」を密集した人体の姿勢推定のために拡張しており、Caffe2によってMask-RCNNと同等の処理速度を実現した。

　GitHubでは、「DensePose」とともに「DensePose-COCO」のグランドトゥルース、複数の訓練済みモデルが公開されている。