1つのビデオから優れたアニメーションを抽出できるBlenderアドオン『CEB 4D Humans』

CEB StudiosによるBlenderアドオン『CEB 4D Humans』の紹介です。

CEB 4D humansとは
価格について
1. セール情報

CEB 4D humansとは

CEB 4D humansアドオンは、1つのビデオを入力から、様々な方法で使用できる優れたアニメーションを作成することができるツールです。

CEB 4D humansは、『Humans in 4D:Reconstructing and Tracking Humans with Transformers』という論文をもとにしているもので、これまで単一画像からの再構成が困難であった特異なポーズを解析することができ、人物トラッキングにおいて最先端の結果を達成しているとのことです。

このアドオンは複数の人物のアニメーションの作成可能で、開発中のようですが、マーカーレスMocapソリューションにありがちな揺れを低減する機能や足をZ軸に固定する機能（体が床から離れるべきでないのに離れてしまうような、予期せぬ結果になったときのために）を備えています。

リターゲットすることで、自分のキャラクターにもアニメーションを適用することが可能です。次の動画では、 4D humansからmixamoのアーマチュアにリタゲティングする方法が説明されています。

■アニメーションパック付き

この製品には、アドオンを使ってblenderに読み込むことができる、アニメーションが入ったパックも付属しています。今後、さらに多くのアニメーションが追加される予定です。

【アニメーションパックの使い方】

PKL_Animations_1.zip “ファイルを解凍すると、PKLファイルができます。
パネルの ” Animation Import/Export ” にあるインポートオプションを使って読み込んでください。
次に、”Import Raw option “を使ってアニメーションを読み込みます。
スムースオプションを使って、アニメーションをより安定させることができます。

■注意

非商業用のみ
WINDOWSのみ
指のトラッキングはできません。
顔のトラッキングはできません。
完全に動作させるには、16GB以上のVRAMを搭載したCUDAカードが必要です。それ以下の場合は動作可能ですが、作業の一部をgoogle colabで行う必要があります。
必要なコンピュータのスペック
- ハードディスクに合計15GBの空き容量：
- ウィンドウズのユーザーフォルダに10GBの空き
- Venvデータ用に5GBの空き
- PC上でフルプロセスを実行したい場合は、16GBのCUDA互換カード。

非商用で、さらに上記のように、かなりハードウェアの要求が厳しくなっていますのでご注意ください。CUDAカードをお持ちでない場合、またはメモリが16GB未満の場合は、google colabでメインパートを実行し、アドオンでデータを確定してインポートすることができます。

■インストール方法

次の動画でアドオンのインストール方法が説明されています。

また、アドオンを使用するには、https://smpl.is.tue.mpg.de/ に登録し、ライセンスに同意する必要があります。