2022年12月5日 – Rokoko は、無料AIモーションキャプチャツール ROKOKO Video を発表しました。
Rokoko Video とは
Rokoko Video は、ウェブカメラやビデオからAIでポーズを推定してモーションキャプチャーすることができるウェブベースの無料ツールです。シンプルさと使いやすさを念頭に置いて開発されており、誰でも簡単にアニメーションを作成することができます。
モーションキャプチャの処理には一般的に、10秒のデータに対して、30～40秒程度の処理時間がかかると言われています。(ただし、サーバーの負荷によっては、もう少し時間がかかる場合もあります。)
また、今のところ、Rokoko Videoはデスクトップ用に最適化されており、モバイルでは動作しません。
使用方法
使用方法は簡単で次の3ステップです。
1 . ウェブカメラを使うか、動画をアップロード
ブラウザからRokoko Videoを使って、Webカメラで動きを記録したり、動画をアップロードすることができます。
2 . Rokoko Studioを起動し、データにアクセス、クリーニング。
フットロックエディターなどのフィルターを使って、数分でデータをきれいにすることができます。
3 . .FBXまたは.BVHにエクスポート
お好みのスケルトン（HIK、Mixamoなど）、メッシュの有無を選択し、そのファイルを好きな3Dツール（Blender、C4D、Unity、Unrealなど）で直接使用することができます。
次のチュートリアル動画でこの流れを確認できます。
キャプチャーの品質を最適化するためのヒント
以下の点に注意することで、ベストな品質を得ることができます。
- 一人の人間の全身が常にフレームに収まっていること。
- ゆったりとした服装は避けてください。同様に、黒い服も避けてください。
- カメラが常に安定していること（三脚など）
Smartsuit Proのようなモーションキャプチャツールとの違い
Rokokoは、Rokoko Videoを、モーションキャプチャーの世界への入り口として、またプリビジュアライゼーションのための便利なツールと位置付けています。使いやすさ、無料価格、データ品質が非常に魅力的であっても、同社のSmartsuit Pro II、Smartgloves、Face Captureのような堅牢なモーキャプツールが必要な場面は多くあり、以下のような理由が挙げられています。
・データ品質：特に複雑なモーションの場合、Smartsuit Pro IIのような慣性モーキャップツールは、より忠実なキャプチャーを提供します。
・オクルージョン：A.I.は、骨格の位置を推定するために、パフォーマーの映像に依存しています。つまり、手足が隠れると、パフォーマーがビデオフレームの外にいるため、あるいはパフォーマーの体の位置によってA.I.が推定するのが難しくなるため、トラッキング能力が低下します。センサーベースのMocapでは、これは問題ではありません
・リアルタイムと後処理データ：A.I.モーションキャプチャーでは、アニメーションファイルを生成するために後処理が必要で、リアルタイムでアニメーションを生成することは（よほど手を抜かない限り）非常に困難です。Rokokoの慣性モーションキャプチャツールは、主要な3Dソフトウェアにリアルタイムで統合されているため、このような問題は発生しません。
・顔と指のキャプチャ：Rokoko Face Captureのようなビデオベースの顔キャプチャソリューションは可能ですが、指のトラッキングについてはまだそうではありません：Smartglovesのようなソリューションがまだ必要とされています。
・トラッキングスペース：クリアなビデオ（つまり良いアニメーション）を撮影するためには、背景や照明、カメラとの距離が重要です。慣性トラッキングは、この点においても、より柔軟な対応が可能です
・複数のパフォーマーの録画：現在、1つの録画で複数のパフォーマーを録画できるA.I.モーションキャプチャーツールはありません。しかし、ロココの慣性モーションキャプチャツールを使えば、最大5人のパフォーマーのモーションを一度にキャプチャすることができます。
以上の理由からRokokoは、Rokoko Video をハードウェアモーションキャプチャツールの代わりになるものではないとしています。指の検出もGoogleのMediaPipeで可能ですし、AIのポーズ推定の品質が今後どうなって行くかはわかりませんが、Rokoko Video を無料ツールとしてリリースできたのも、こういったデバイス（センサー）型の優位性に自信があるからだと思われます。
Rokoko Video の使用はこちらから（アカウント登録が必要）
コメント