2024年10月22日(現地時間)- Runway は、シンプルなビデオ入力を使って、表現力豊かなキャラクター演技を作り出す新しい方法『Act-One』を発表しました。
『Act-One』とは
『Act-One』は、Gen-3 Alpha内で表現力豊かなキャラクターパフォーマンスを生成するための最新ツールです。
Act-Oneを使用すると、ビデオやボイスパフォーマンスを入力として使い、魅力的なアニメーションを作成することができます。
新しいフェイシャルアニメーションパイプライン
従来のフェイシャルアニメーションのパイプラインは、モーションキャプチャ機器、複数の映像の参照、手作業による顔のリギングなど複雑な複数ステップのワークフローを伴います。その目的は、アクターのパフォーマンスをアニメーションパイプラインに適した3Dモデルに変換することです。この従来のアプローチの重要な課題は、リファレンス映像からデジタルキャラクターに感情やニュアンスを保持することにあります。
Act-Oneは、全く異なるパイプラインを使用し、アクターの演技のみによって直接駆動され、余分な装置を必要としません。
Act-Oneは様々な参照画像に適用でき、リアルな表情はそのままに、元映像とは異なるプロポーションのキャラクターに正確に変換します。この汎用性により、独創的なキャラクターデザインとアニメーションに新たな可能性が広がります。
Without the need for motion-capture or character rigging, Act-One is able to translate the performance from a single input video across countless different character designs and in many different styles.
— Runway (@runwayml) October 22, 2024
(3/7) pic.twitter.com/n5YBzHHbqc
このモデルの強みの 1 つは、豊富なカメラ アングルと焦点距離で映画のようなリアルな出力を生成できることです。これまで不可能だったキャラクターの深みのある感情的なパフォーマンスを生成できます。
One of the models strengths is producing cinematic and realistic outputs across a robust number of camera angles and focal lengths. Allowing you generate emotional performances with previously impossible character depth opening new avenues for creative expression.
— Runway (@runwayml) October 22, 2024
(4/7) pic.twitter.com/JG1Fvj8OUm
Act-Oneにより、これまで生成ビデオモデルで作成することが困難であった、表現力豊かな会話シーンの生成がコンシューマーグレードのカメラと、一人のアクターが台本を読み、さまざまなキャラクターを演じるだけで、ナラティブコンテンツを作成できるようになりました。
A single video of an actor is used to animate a generated character.
— Runway (@runwayml) October 22, 2024
(5/7) pic.twitter.com/F3X5VpGkEN
With Act-One, eye-lines, micro expressions, pacing and delivery are all faithfully represented in the final generated output.
— Runway (@runwayml) October 22, 2024
(6/7) pic.twitter.com/R7RX6UhPEQ
安全性について
弊社のすべてのリリースと同様に、Runwayは、責任ある開発と展開に取り組んでいます。この新しいツールは、次のような包括的なコンテンツ モデレーションと安全対策を講じてリリースされます。
- 著名人を含むコンテンツを作成しようとする試みを検出しブロックするさらに強力な機能。
- エンドユーザーがカスタム音声を使用して作成した音声を使用する権利を持っていることを確認するための技術的手段。
- Runwayのツールやプラットフォームが不正に使用される可能性を検出し、軽減するための継続的な監視。
「安全な生成メディアの基盤」は、 Act-One の現在のリリースと将来のリリースの基盤となりとされています。
利用について
Act-One へのアクセスは、本日から段階的にユーザーに提供され、まもなくすべてのユーザーが利用できるようになる予定です。
コメント