2023年8月4日 – historia は、ChatGPTとUnreal Engine 5（以下、UE5）を用いた技術研究、3D脱出ゲーム「名探偵モカと密室脱出」の発表を行い、プレイムービーを公開しました。
ゲーム開始からクリアまでを収録したノーカット動画はこちら
『名探偵モカと密室脱出』とは
「名探偵モカと密室脱出」は声だけでプレイする脱出ゲームです。近年のAI技術――ChatGPTおよび文字起こし/読み上げサービスを利用することにより、コントローラーを使用しない「より自然なコミュニケーション」によるゲームプレイの可能性を探ることを目的として作られました。
以下の３つを具体的な目標として、「会話を通して名探偵モカにヒントを貰いながら、扉の鍵を見つけて脱出するゲーム」として構成されています。
- 自然言語（声）によるNPCとのコミュニケーション
- ChatGPTにより3Dキャラクターを動かす
- ChatGPTによりゲーム進行を行い、ゲームのシナリオを収束させる
注意：「名探偵モカと密室脱出」は、社内の技術研究として制作されたプロジェクトであり、ゲームとしての一般公開の予定はないようです。historia は、「今回の研究結果を今後の制作に役立てるとともに、これからもヒストリアではAIとリアルタイムレンダリングを掛け合わせた技術の探求を行っていきます。」としています。
ChatGPTを含む3つのAIクラウドサービスを使用
本作では3つのAIクラウドサービスが使用されています。
①文字起こし：Azure Cognitive ServicesのSpeech Service内、リアルタイム音声テキスト変換。マイクから取得した音声をテキストへ変換する。
②行動・セリフ決定：ChatGPT（GPT-4）。①で得たテキストを元にプロンプトを発行し、NPCの行動と会話の返答を得る。
③読み上げ：Azure Cognitive ServicesのSpeech Service内、Custom Neural Voice。②で得たセリフをボイスに変換する。
クライアント側はUE5で動作しており、キャラクターの移動や演出などはUE5の機能が使用されています。
ChatGPTのストリーミング機能を利用したレスポンス向上
自然な会話を成り立たせるためには、キャラクターのレスポンスも重要な要素です。
ChatGPTの返答を待ってから処理したのではキャラクターのレスポンスが悪かったため、今回はChatGPTのストリーミング機能を利用し、以下の2つの工夫を行いました。
- セリフ部よりもコマンド部を先にすることにより、コマンド部の結果が取得できた時点でキャラクターの移動を行い時間を稼ぐ。
- セリフを分割して読み上げ機能に投げることにより、ChatGPTの返答を待たずして返答する。
以下は2の概念図です。
これらの工夫により、違和感の少ないキャラクターレスポンスが実現されています。
より詳しい情報がこちら：「名探偵モカと密室脱出」開発者による見どころ紹介！ ー ChatGPTに任せたゲーム進行と自然な会話の実現方法で説明されています。興味がある方はご覧ください。
コメント