Meshcapade、浙江大学、スタンフォード大学、マックス・プランク研究所の共同研究チームによって発表された「DiffLocks」の紹介です。
概要
DiffLocksは、拡散モデル（Diffusion Model）とTransformerという最新のAI技術を組み合わせ、一枚の写真からリアルで詳細な3Dヘアモデルを生成することができるフレームワークです。
従来手法が抱えていた、学習データの不足や複雑な髪型（特にカールヘア）の再現性の低さといった課題を、独自に構築した大規模合成データセットと、個々の髪の毛を直接生成するアプローチによって克服しました。
これにより、後処理なしで高品質な3Dヘアを生成でき、実世界の多様な写真にも対応可能です。
従来の課題：多様な髪型とデータ不足の壁
写真一枚からリアルな3Dの髪の毛を作り出すことは、長年の課題でした。髪型は非常に多様であり、リアルな写真とそれに対応する精密な3Dヘアモデルのペアデータが大量に不足していたためです。
これまでの手法は、主にコンピューターグラフィックスで作られた「合成データ」で学習されてきました。しかし、データが限られているため、「ガイドストランド」と呼ばれる髪の大まかな流れを示す線や、頭皮全体の特徴量といった、情報を圧縮した中間表現を用いる必要がありました。これらの表現から自然な髪の毛を生成するには、複雑な後処理（デコード、高解像度化、リアリティの付与など）が不可欠で、巻き毛への対応が難しく、また、扱えるヘアスタイルの種類も限られています。
DiffLocksの特長
研究チームはこれらの課題を解決するため、新しいフレームワーク「DiffLocks」を提案しました。DiffLocksは、単一画像から直接、多種多様な髪型の詳細な3D形状を高精度に再構築することができます。
1. 史上最大級の合成ヘアデータセット：まず、3Dヘアデータの不足という根本的な問題に対処するため、4万種類もの髪型を含む、これまでにない大規模な合成ヘアデータセットの自動生成により、3Dヘアデータの不足に対処。研究チームが構築した「DiffLocksデータセット」は、BlenderでレンダリングされたリアルなRGB画像、完全な3Dヘアモデルのファイル、髪に関するメタデータを含む4万サンプルで構成されています。データセットは研究目的で公開されており、詳細は論文ページで確認できます。
2. 拡散モデルとTransformerの融合：次に、この豊富なデータセットを活用し、画像を入力として条件付けられた「拡散モデル（Diffusion Model）」と「Transformer」を組み合わせた深層学習モデルを構築しました。このモデルは、正面から撮影された一枚の画像をもとに、髪の毛一本一本（ストランド）の正確な3D形状を学習・予測します。
3. 実世界の写真への対応力：画像の特徴を捉える能力が高い事前学習済みモデル「DINOv2」を利用することで、DiffLocksは合成データのみで学習されたにも関わらず、インターネット上にあるような実世界の多様な写真（in-the-wild images）に対しても高い性能を発揮します。
4. 後処理不要の直接デコード：DiffLocksの拡散モデルは、頭皮上の各点に対応する「潜在コード（latent code）」を含むテクスチャマップを生成します。この潜在コードには個々の髪の毛の形状情報が凝縮されており、後処理を行うことなく、直接3Dストランドへとデコードされます。
5. 複雑な髪型の詳細な再現：ガイドストランドのような中間表現ではなく、個々のストランドを直接扱うことで、Transformerモデルはアフロヘアのような非常に複雑な髪型の微細な空間構造まで捉えることができます。これにより、単一画像からでも驚くほど詳細で自然なカールヘアの再現が可能になりました。
パイプライン
- 特徴抽出: 入力された一枚のRGB画像から、DINOv2モデルを用いて局所的・大域的な特徴量を抽出します。
- 拡散モデルによる生成: 抽出された特徴量をガイド情報として、拡散モデルがノイズ除去プロセスを通じて、髪の密度マップと、ストランド形状の潜在コードを含む頭皮テクスチャを生成します。
- ストランドのデコード: 頭皮テクスチャから確率的に点をサンプリングし、各点の潜在コード
zを、それぞれ256個の点で構成される3Dストランドにデコードします。 - 最終的な髪型生成: 約10万本のストランドを並列処理でデコードし、組み合わせることで、最終的な3Dヘアスタイルが完成します。
性能比較
様々な定性的・定量的な比較実験により、DiffLocksは既存の最先端手法を大幅に上回り、より多様な髪型を、より詳細かつ安定して再構築できることが実証されています。
まとめ
DiffLocksは、大規模データセット構築の自動化と、拡散モデル・Transformerという最新技術の融合により、単一画像からの3Dヘア生成の精度と汎用性を飛躍的に向上させました。
この技術は、リアルなアバター作成、バーチャルリアリティ/拡張現実（VR/AR）、映画・ゲーム制作など、幅広い分野での活用が期待されます。
研究論文、データセット、ソースコードは以下の通りです。
関連情報:
