UnityにAIモデルを導入するためのニューラルエンジン Unity Sentis がアップデート！Hugging Faceとの新しい統合など

2024年1月26日（現地時間）- Unity は、同社のゲームエンジンであるUnityにAIモデルを導入するためのニューラルエンジンである『Unity Sentis』のHugging Faceとの新しい統合といくつかの製品アップデートを共有しました。以下、その内容となります。

Hugging Faceと信頼できるAIモデル
独自のSentisモデルを追加
Sentisの追加アップデート
利用について

Hugging Faceと信頼できるAIモデル

『Unity Sentis』は、オブジェクト認識、スマートNPC、グラフィックスの最適化などのようなゲーム内の機能をパワーアップさせるために、AIモデルをより利用しやすくすることを目的として開発されていますが、多くのモデルが利用可能であるため、どれがユースケースに合うのか、信頼できるのか、Unityでうまく動作するのかを判断するのは難しい場合があります。

これが、Unityが世界最大のAIモデルハブであるHugging Face（この記事を書いている時点で47万以上のモデル）と統合し、Unityのチームがシームレスに統合されることを確認するためにテストしたUnity Sentis用の有効なAIモデルを提供する理由とされています。

Unityは、今後もHugging Faceとのコラボレーションを継続し、Unity Engineで使用するための高品質で検証済みのAIモデル（ validated AI models）を提供していくとしています。

これらのモデルは、SentisフレームワークでUnityに簡単に実装できるように最適化されており、Hugging Faceのハブで “Unity Sentis “とタグ付けされています。また、ゲーム内で推論を実行するために、対応するすぐに使えるC#ファイルも共有されています。モデルは、ONNX変換ステップをバイパスするために、.sentisフォーマットにあらかじめ変換されています。現在、文章の類似性、Speech to Text、オブジェクト検出など、コミュニティから寄せられた一般的なユースケースをカバーする11の検証済みモデルを提供しています。

検証済みの AI モデルページへ

独自のSentisモデルを追加

Unityは、全てのユースケースを網羅する、フリーでオープンソースのモデルセットを構築するために、Unity Sentisタグを使って、Hugging Face Hubに興味のある個人プロジェクトを投稿することをお勧めしています。

モデルを追加する際のヘルプや、Hugging Faceのアップロードへのリンクをコミュニティと共有したい場合は、ディスカッションフォーラムまでご連絡ください。

Hugging Faceは、あなたのユースケースがSentisでローカルにAIモデル推論を実行するのに適していなくても、Unityでもうまく機能します。Hugging Face Unity APIパッケージを使用して、ラピッドプロトタイピングのための無料APIであるHugging Face Inference APIでモデルをホストすることもできますし、本番使用のための有料APIである Inference Endpointsを使用することもできます。

Sentisの追加アップデート

Unity Sentisは2023年にプレリリースパッケージとしてオープンベータに入り、チームは今年初めに安定性の向上を実現するために取り組んできました。最新のリリースは、開発者コミュニティによって特定された問題への対処に焦点が当てられています。

2024年のSentis

Unity SentisはUnity 6リリースの一部として今年後半に正式にリリースされる予定です。それまでは、SentisはUnity 2023のプレリリースパッケージとして、一貫した機能アップデートと修正が追加されます。Unityによると、多くのエキサイティングな製品アップデートも予定されているとのことです。

グラフUI

優れた視覚化なしにモデルを実装し最適化することは困難です。このため、Unityエディタ内で直接ネイティブなビジュアライゼーションを可能にする、AIモデル用の直感的なグラフビューアーが作成される予定です。さらに、異なるコンピュートタイプ（CPU対GPU）にモデルノード（Operation）をディスパッチする機能も提供されます。

ハードウェアアクセラレーション

ゲーム開発者にとって、パフォーマンスは常に懸念事項です。Unityの計画は、 Microsoft Direct ML、Apple Core ML/MPS Graph、Google NN APIなどのプラットフォーム上のハードウェアアクセラレーションライブラリやニューラル専用チップセット（ニューラル処理ユニット（NPU）としても知られる）と統合し、あらゆるデバイスでより高速な推論を実現することです。しかも、推論がNPU上で実行される場合、CPU/GPUから計算がオフロードされ、ゲームに必要な予算をより多く確保することができます。

クラウド推論

多くのAIモデルはSentisでオンデバイスで実行できますが、クラウド推論が望ましい場合もあります。例えば、モデルがホスティングされたサービスを通じてのみ利用可能であったり、サーバーの権限を維持する必要があったり、ローエンドのデバイスでより高速なパフォーマンスが必要であったりします。これらのケースは、APIで標準的なUnityウェブリクエストを使用したい場合に解決することができますし、Hugging Faceインフラストラクチャを使用している場合は、前述のようにHugging Face Unity APIを使用することができます。

将来的には、Hugging Faceと協力してUnity APIをSentis APIと整合させ、ローカルとクラウドの推論の入出力を一貫したものにし、C#コードを修正することなくネイティブとクラウドのコンピュート間でプロトタイプを簡単に作成できるようになる予定です。