Apple、フォトグラメトリを使用した3Dスキャンテクノロジー「Object Capture」を発表、その他CG関連情報など

2021年6月8日 Appleは、WWDC2021基調講演で mac、iOS、iPadOSの最新アップデートであるmacOS Monterey、iOS 15、iPadOS 15 を発表しました。それにともない、開発者向けのMetal、ARkit、フォトグラメトリを使用した3Dスキャンテクノロジー「Object Capture」を含むRealitykitのアップデート情報も公開されています。

Metal
1. 新機能
ARkit 5
1. 新機能
Realitykit 2
1. 新機能
2. Unityが Object Capture を導入

Metal

Metalフレームワークは、グラフィックスプログラムとコンピュートプログラムの間で緊密に統合されたシェーディング言語を使用して、最新の3Dプロアプリケーションやゲームを開発するためのプラットフォームに最適化された低オーバーヘッドのAPIを提供します。OtoyのOctaneXやMaxonのRedshiftなどのレンダラーが対応しています。

新機能

今回のアップデートでは、グラフィックスとコンピュートの統合の強化、関数のスティッチング、Ray Tracingのアップデート、GPUで加速されたMLトレーニングなどの新機能があります。

■グラフィックスとコンピュートの統合の強化

最新のGPUレンダリング技術をよりよく実現するために、グラフィックスシェーダから直接、ダイナミックライブラリの呼び出し、関数ポインタの使用、Ray Tracing APIの活用が可能になりました。

■関数スティッチング

プリコンパイルされた関数をランタイムでより複雑な関数に効率的に組み合わせることができます。これにより、シェーダーオーサリングツールは、柔軟性を維持しながら、個々のシェーダーノードをプリコンパイルすることができます。

■レイトレーシングの新機能

レイトレーシングAPIは、モーションブラー、ユーザーインスタンスID、数値制限の拡張をサポートし、非常に複雑なシーンをプロフェッショナルなレンダリングで生成できるようになりました。

■GPUで加速されたMLトレーニング

MPSGraph(Metal Performance Shaders Graph)は、GPU上のMetalバッファベースのMLプリミティブを使用した新しい操作と最適化を追加し、Mac上でのMLモデルトレーニングをより高いピークパフォーマンスで加速することができます。

■テクスチャコンバータツール

新しいTexture Converter Toolでは、ゲームのテクスチャアセットをAppleプラットフォーム向けに最適化することを容易にするため、ハイエンドゲームで使用される最新のモダンなテクスチャフォーマットをサポートしています。Windowsベースのビルド環境を持っているゲーム開発者は、Metal Tools for Windowsパッケージでもテクスチャコンバータツールを利用することができます。

その他にもデバッガーなど多くの新機能があります。

より詳しい情報はこちらから

ARkit 5

ARKitフレームワークは、デバイスのモーション・トラッキング、カメラによるシーン・キャプチャー、高度なシーン・プロセッシング、便利なディスプレイなどを組み合わせて、AR体験の構築を容易にします。

ARKitのより詳しい情報はこちらから

新機能

ARKit 5で

は、アプリでの AR エクスペリエンスを向上させる新機能の追加と改善がされており、多くの都市でロケーションアンカーを配置すること、App ClipsやARKitアプリ内のバーチャルコンテンツを印刷またはデジタルのApp Clip Codeにピン留めすること、iPad Pro（第5世代）のウルトラワイドカメラでフェイストラッキングを活用することが可能になっています。

■フェイストラッキングのサポートを拡大

Face Trackingのサポートが拡大され、iPhone SEを含む、A12 Bionicチップを搭載したデバイスの前面カメラでもAR体験を楽しめるようになりました。また、最新のiPad Pro（第5世代）に搭載されているウルトラワイドカメラでも顔認識が可能になり、TrueDepthカメラでは、一度に最大3人の顔を追跡することが可能です。

■ロケーションアンカー

都市や有名なランドマークなど、特定の場所にAR体験を配置することができます。Location Anchorsは、特定の緯度、経度、高度にAR作品を固定することができ、ユーザーは、カメラのレンズを通して実際の物体を見るのと同じように、仮想物体の周りを移動してさまざまな視点から見ることができます。

Realitykit 2

RealityKitフレームワークは、フォトリアリスティックなレンダリング、カメラエフェクト、アニメーション、物理演算など、拡張現実に特化してゼロから構築されたフレームワークです。ネイティブなSwift API、ARKitとの統合、リアルな物理ベースのレンダリング、トランスフォームおよびスケルトン・アニメーション、空間オーディオ、剛体物理などを備えています。

RealityKitのより詳し情報はこちらから

新機能

■Object Capture

macOSの新しい Object Capture APIを使えば、iPhoneやiPadの写真を、ARに最適化された高品質の3Dモデルに数分で変換することができます。

Object Captureは、フォトグラメトリを使用して、iPhoneやiPadで撮影した写真を3Dモデルに変換し、AR Quick Lookで即座に表示したり、Xcodeプロジェクトに統合したりすることができます。

■カスタムシェーダー

RealityKitは、物理ベースのリアルなマテリアル、環境の反射、接地面の影、カメラノイズ、モーションブラーなどを使って、バーチャルコンテンツと現実世界をシームレスに融合し、バーチャルコンテンツを現実とほとんど見分けがつかないようにします。RealityKit 2では、カスタムレンダリングターゲットやマテリアルを使ってレンダリングパイプラインをコントロールできるので、ARオブジェクトやシーンのルック＆フィールを微調整することができます。

■カスタムシステム

独自のEntity Component Systemを構築して、ARシーンのアセットを整理したり、より複雑な機能をSystemレイヤーに組み込むことができます。

■ダイナミックアセット

アセットのローディングがカスタマイズ可能になり、RealityKitベースの体験をより柔軟にカスタマイズできます。たとえば、フレームごとに画像やメッシュをプログラムで変更することができます。

■キャラクターコントローラー

Swift APIを使って、プレイヤーが操作するキャラクタを簡単に作成できます。これにより、ユーザーが作成するARワールドやRealityKitベースのゲームで、ユーザーがジャンプしたり、体を動かしたり、探索したりすることができます。