コンピューターグラフィクスの世界最大規模の国際学会 SIGGRAPH ASIA 2024 の「Technical Communications」において、グラフィニカ、アーチ、拓殖大学の研究者らによるスタイル転写技術に関する共同研究が『Best Paper Award（最優秀論文賞）』を受賞しました。
実用的なスタイル転写パイプラインを開発
このプロジェクトではスタイル転写（style transfer）と呼ばれる技術を実際のアニメーション制作の現場で使えるようにするための技術開発が行われ、水彩画・油彩画など、多様な2Dタッチを3Dアニメーションに適用して、これまでは表現が難しかった様々なスタイルの映像を実現することを可能にしました。
この技術は古典的なテクスチャ合成処理を使用しており、機械学習に基づいたものではないので、アーティストが安心して使用できてかつ制御しやすくなっているとこのことです。
国際学会SIGGRAPH Asia 2024のTechnical Communications部門で発表され、最優秀論文賞を受賞した「A Practical Style Transfer Pipeline for 3D Animation: Insights from Production R&D」では、品質、アーティストのコントロール、および作業負荷のバランスをとるためにさまざまなオプションを検討し、重要な決定を行なった開発プロセスからの洞察が紹介されています。
例えば、より良いコントロールとトレーニングデータの問題を避けるために、機械学習ではなくパッチベースのテクスチャ合成を選択。スタイル模範の指定、シーン内の複数色の管理、アウトラインとシャドウの制御、時間的ノイズの低減にも取り組んでいます。
この技術の関連する研究はCEDEC2023でも発表されており、こちらからその内容を確認できます。
実験的映像作品『Forest Tale』
上記の洞察は、パイプラインをさらに改良するために使用され、最終的には、さまざまなスタイルを紹介する実験的なショートフィルムを制作することが実現しました。
以下がその映像作品となっています。
コメント