先月末のAdobe MAX 2021 で公開された技術プレビュー「MAX Sneaks」の紹介です。
「MAX Sneaks」では、将来製品に搭載されるかもしれない機能の初期の技術プレビューを見ることができます。今年は、アメリカ合衆国の俳優、コメディアンである Kenan Thompson 氏 がAdobeのエンジニアと一緒に発表しました。
Project Morpheus
自分自身が映っている動画を見て、ちょっとしたことを変えたいと思ったことがあるでしょうか。この機能は、髭を剃るのを忘れたとか、眼鏡をかけたままだったとかちょっと気になるところを変えたいときに手助けをしてくれます。
Adobe Senseiを搭載したProject Morpheusは、機械学習を利用してフレームレベルの変更を自動化し、スムーズで一貫した結果をもたらす、コンテンツのオーサリングと編集のための新しい方法です。これにより、時間をかけてフレームごとに編集する必要性がなくなります。
Project Stylish Strokes
フォントは個性やトーン、創造性を表現するのに最適な手段となりますが、実際にはカスタマイズできません。通常、フォントはアウトラインとして保存されるため、スタイリングやアニメーションは困難です。変更を行うには、個々のフォント文字を構成する基本的なストロークを編集する必要があり、そのようなストロークに一般的にはアクセスすることができません。
「Project Stylish Strokes」はフォントのアウトラインを分析し、文字を構成するストロークを自動的に見つけてくれるので、タイプを選択してワンクリックでスタイルをカスタマイズすることが可能になります。珍しい文字構造のフォントや英語以外の言語のフォントにも対応しており、色やテクスチャー、アニメーションの選択肢は無限にあります。
Project Artful Frames
伝統的なアニメーション技術は長年にわたって改良されてきましたが、それでも時間のかかる作業です。Artful Framesプロジェクトは、そのプロセスを簡略化することを目的としています。
Artful Framesの背景にあるAIアルゴリズムは、neural representation、optimization、 super-resolutionを組み合わせたものであり、アーティストの作品を参考にして、そのスタイルを模倣し、映像に適用することで、映像を芸術作品に変えることができます。
これは、以前紹介したツール「EbSynth」と似ています。
「EbSynth」は、Adobe Researchの研究「Stylizing Video by Example」をベースにしたものなので、同じ技術が使われているのかもしれません。
Project Strike a Pose
写真を撮るときにポーズをとるのは、なかなか難しいものです。
Project Strike a Pose は、希望するポーズをとった人物の参照画像を提供することで、機械学習を用いて画像内の人物を同じ姿勢に再配置します。データとテクスチャマッピングを独自に組み合わせることで、奥行きや照明などの要素を考慮しながら、服や髪、肌の色などの特徴を元の画像に合わせて再現することができます。
Project Sunshine
デザイナーがベクターグラフィックスをよく使うのは、そのほぼ「無限」の解像度とスケーラビリティのオプションのためです（ファイルサイズの小ささも含めて）
Project Sunshineは、ベクターグラフィックスをさらに進化させ、カラーリングやシェーディングのオプションを自動的に提案します。
生成モデルは自動回帰型（auto-regressive）で、画像の要素を推測することから始まり（例：「髪の毛は黒くすべき」）、螺旋状に外へと広がっていきます。結果はベクター化されているので、色やシェーディングの提案を編集して改良していくのも簡単です。
Project Make it Pop
プロジェクトMake it Popは、画像にちょっとしたアクセントを加えるための、シームレスで使いやすい方法を提供します。
Adobe Senseiを搭載したMake It Popは、画像のパーツ（背景、前景、体の一部など）を識別し、ベクターシェイプに変換します。そこからクリエイターは、画像に適用するルックス、ステッカー、アニメーションのギャラリーから選ぶことができ、写真をポップアートに変えることができます。
Project On Point
適切なストックフォトを探すのは、果てしない作業のように思えることがあります。特に、特定のポーズをとったモデルを探している場合はなおさらです。
Project On Pointを使用すると、ポーズベースの記述子（descriptors）を使用して、最適な写真を見つけることができます。
これらの記述子は、参照画像の上に重ねられた2Dの棒状の図形として表現されるインタラクティブなもので、探している画像にたどり着くために修正したり、改良したりすることができます。また、記述子は他の検索パラメータと組み合わせることができ、例えば、「男性」「女性」「子供」といった特定の属性でタグ付けされた画像をフィルタリングすることができます。
Project On Pointは、ストックフォトのデータベースだけでなく、最近のファッション撮影やポートレート撮影に最適な、自分のフォトアルバム内での検索も可能です。
Project In-Between
Project In-Betweenは、思い出を大切にする新しい方法を提案します。
例えば2枚の写真があるとき、Project In-Betweenは、Adobe Senseiの力を借りて、2枚の写真の間にアニメーションのブリッジを生成し、アニメーションを作成します。また、静止画だけでなく、短いビデオクリップを使って、シルクのように滑らかなスローモーション映像を作り出すこともできます。
Project Shadow Drop
従来のシャドウレンダリングの手法は、幾何学的な知識や光源に精通していなければならないため、難しいものでした。
Project Shadow Dropは、光源と地平線の2D位置を利用してこの問題を解決し、2Dベクターアート、2Dアニメーション、さらには実物の画像にも適用できるリアルな影を自動的に生成することができます。デザイナー、アーティスト、アニメーターにとっては、時間をかけて細かく編集する必要がなくなり、短納期のゲームチェンジャーとなるかもしれません。
以上、Adobe MAX 2021 で公開された「MAX Sneaks」でした。
「MAX Sneaks」の動画全体を見たい場合はこちらから
Adobe MAX 2021 sneaks: A peek into what’s next
コメント