機械学習を使用したリアルタイムフェイスパイプライン ZRT Face Trainer ベータ版がリリース

2021年11月19日（現地時間）Ziva Dynamics は、機械学習ベースのリアルタイムフェイスパイプライン ZRT Face Trainer ベータ版を発表しました。

ZRT Face Trainer について
1. ワークフローについて
ベータプログラムへの参加について

ZRT Face Trainer について

ZRT Face Trainer は、静的なフェイスメッシュを、複雑な表情が可能な高性能でリアルタイムなフェイスパペットに変えるクラウドベースの実験的なテクノロジーです。

4Dデータの包括的なライブラリと独自の機械学習アルゴリズムに基づいて構築されており、1時間以内にキャラクターメッシュを変えることができます。ZRT Face Trainer には次のような特徴があります。

ZRT Face Trainerは、15TB以上の4Dスキャンデータを含むライブラリに基づいて構築されています。
ZRTのフェイスパペットは、72,000以上のトレーニングシェイプや、新しい顔のポーズを表現することができます。
ZRTのフェイスパペットは、ランタイムでわずか30MBで、リアルタイムのフレームレート（シングルCPUスレッドで3ms/フレーム）で動作します。

Ziva Dynamics は、これによりゲーム業界に参入するとしており、Unreal Engineでテストされているようです。

ワークフローについて

ZRT Face Trainerの使用手順は次のようになります。

事前準備：トレーニング用のフェイスメッシュを準備する。現在、トレーニングプロセスを効果的に行うためには、すべてのZRT Face Trainerの入力を「registered」にする必要があります。登録の品質は、ZRT Face Trainingの品質に直接影響します。（登録にかかる時間の目安：2時間）
アップロード：クラウドポータルを通じて、ZRT Face Trainerのパイプラインを自動的を起動。準備したメッシュを、Ziva Storeのシンプルなドラッグ＆ドロップ・ポータルを使って、クラウド・ベースのZRT Face Trainerパイプラインにメッシュをアップロードします。
完成：1時間以内に、リアルタイムの顔の結果がレンダリングされ、Ziva Storeアカウントを通じて共有されます。ZRT Face Trainerのプロセスは、迅速かつ完全に自動化されています。

アッロード以降は自動化されているので、重要なのは事前準備のトレーニング用のフェイスメッシュを準備する工程になります。このレジストレーションプロセスでは、カスタムメッシュを一般的な人間の顔にマッピングし、ZRT Face Trainerパイプラインが、変形を正しいポイントにMLトレインできるようにします。

このプロセスでは、Face Registrationの手順（ダウンロードはこちらから）に沿って、 R3DS Wrap3 や Autodesk Mayaを使用してトレーニング用のメッシュを準備する必要があります。

準備のクオリティはトレーニングのクオリティに直接影響し、高品質の登録ができないと、トレーニングの結果が悪くなったり、壊れたりするので、このステップには時間をかけて、できるだけ慎重に指示に従うことが強く推奨されています。