LIVとバーチャルモーションキャプチャーでVRゲーム内合成をする方法

LIVとは

LIVはゲーム内に入ったような撮影(MR合成)を行う、無料のSteamアプリです
LIV on Steam こちらからSteam経由でインストールしてください
Steamの紹介動画にあるように、ビデオカメラで撮影したVRをプレイしている人をグリーンバックで合成するためのアプリです
バーチャルモーションキャプチャーはビデオカメラで撮影する現実の映像の代わりに3Dモデルの映像を生成します。結果、ゲーム内にモデルが入ったような撮影が可能となります

LIV on Steam

はじめに

・現在Beat SaberにおいてLIVの使用は非推奨です。
・ Beat Saberと合成したい場合はこちらのマニュアルをご覧ください
・LIVでの合成にはPCスペックを必要とします。快適な動作にはCPUにCore i9やRyzen 9、GPUにRTXシリーズ相当を要求します。それ以下のスペックの場合解像度を下げたり録画設定を見直したりすれば動く場合がありますが保証できません。そのためこの先の設定は1280x720の解像度で行いますが、スペックに自信のある場合は1920x1080も使用できます
・その他LIVについては複数のよくある質問がありますので困った際は参考にしてください
・LIV側の不具合についてはLIVの初期画面から入れる公式Discordでお問い合わせください
・LIVは全てのVRゲームで動くわけではありません。対応したゲームのみ合成可能です。対応していないゲームの場合はバーチャルモーションキャプチャー単体の映像をOBS等で合成することを検討してください
・以降の手順はHMDとコントローラーがSteamVRに認識されている状態で行ってください

バーチャルモーショントラッカーをインストールする

LIVのカメラの代わりになるバーチャルモーショントラッカーをインストールします

  1. バーチャルモーションキャプチャーを起動し、詳細設定のVMTインストールを押します
    VMTインストールボタン
  2. メッセージを確認し、OKを押してインストールする
    VMTインストール確認
  3. インストールが成功したらOKを押して再起動を待ちます
    VMT再起動確認
  4. 詳細設定のVMTの有効にチェックを入れます
    VMT有効
  5. 詳細設定のLIV向けexternalcamera.cfgの書き出しを押して後ほど使用するcfgファイルを出力する
    このファイルは後で使うので保存先を覚えておいてください
    cfg出力

仮想Webカメラをインストールする

LIVにバーチャルモーションキャプチャーの映像を送るための仮想WebカメラをPCにインストールします

  1. 詳細設定から仮想Webカメラインストールを押します。ユーザーアカウント制御の画面が出た場合は必ず”はい”を押して続行してください
    VMC_Cameraインストールボタン
    VMC_CameraインストールUAC1
    VMC_CameraインストールUAC2
  2. インストールに成功と表示されるのを確認してOKを押します
    VMC_Cameraインストール成功
  3. 解像度設定で1280x720/60Hzを選択し適用を押します
    解像度設定

バーチャルモーションキャプチャーの設定を行う

バーチャルモーションキャプチャーの残りの設定を行います

  1. まずはVRM読込ボタンで好きなVRMモデルを読み込みます
    VMC1
  2. もしHMDとコントローラー以外のトラッカーを使用する場合は詳細設定のトラッカー割り当て設定から各部位手動で割り当てしてください
    VMC2
  3. 背景色タブのカスタムボタンを右クリックして使用するモデルに合わせて背景色を決め、左クリックで適用します。ここでは例としてピンク色を選択しました。この色は後程クロマキーに使用されるためモデルに使われていない色を選んでください。
    VMC3
  4. カメラタブで正面からの画にしたい場合はフロント
    後ろからの画にしたい場合はバック
    カメラ固定して動き回りたい時はフリー
    一定方向からカメラに付いてきて欲しい時は座標追従を押します
    Smoothの数値を大きくするとカメラが緩やかについてくるようになります
    VMC4
  5. マイクの音声で口を動かしたい場合はリップシンクタブで使用するマイクデバイスを選択します
    VMC5
  6. 設定タブのショートカットキーを押してプリセットから使用しているコントローラーに合わせたプリセットを選択してください。この画面の設定に従って表情の操作や指の操作を行うことが出来ます。VRゲームと併用する際は手の動きにSkeletalを使うにチェックを入れると自然な指の動きに自動で動作します(HMD内でSteamVRダッシュボードが開いていると動かないので注意してください)
    VMC6
  7. 最後に設定の保存を行います。保存先は分かりやすいフォルダを選択してください
    VMC7

ここまででバーチャルモーションキャプチャーの設定は終わり、LIVの設定をするためにバーチャルモーションキャプチャーを一度閉じておいてください

LIVの設定を行う

LIVに合成のための設定を行います

  1. LIVを起動してSteamVRのドライバーをインストールします LIV1
  2. 成功と表示されたらOKを押します
    LIV1a
  3. SteamVRが再起動を求める画面が出ているのでSteamVRを再起動を押します
    LIV1b
  4. SteamVRが再起動したらLIVコンポジターを起動するを押します
    LIV1b

※ここで再びバーチャルモーションキャプチャーを起動してください
※起動したら設定した通り自動でモデルが読み込まれていることを確認してください

※現在LIVにVMC_Cameraが表示されない問題が発生しています。VMC_Cameraの代わりにOBS Virtual Camera等でVMCの映像を入力して回避することが出来ます。
※鋭意修正中ですが、突然動かなくなった理由についてはLIVに問い合わせください

  1. 起動したLIV Appのカメラ内の追加ボタンを押します
    LIV3
  2. カメラ内のタイプをビデオカメラ 、デバイスをVMC_Camera 、モードをXRGBの1280x720 60fps 、プロファイル名前をVMCとそれぞれ設定します
    LIV4
  3. キャリブレーションのタブに移動してしょうさいにチェックを入れ、インポートのファイルからを選択し先ほど保存したcfgファイルを開きます
    LIV5
  4. キャリブレーション欄の数字が全て0になっているのを確認して、トラッカーの欄でVMT_50と書かれたもの選択します
    LIV6
  5. 色分けタブからクロマキーに使う色と強度を選ぶことが出来ます。先ほどバーチャルモーションキャプチャーの背景色に設定した色と同じ色を選択します
    LIV7
  6. 全ての設定が出来たらセーブを押して保存します
    LIV8
  7. LIV Appのアウトプットタブの解像度を1280x720に設定します
    LIV9

ここまでが初期設定になります。次回以降行う必要はありません！
1度ここでLIV、バーチャルモーションキャプチャー、SteamVRの全てを終了してください。
トラブルを防ぐ起動順序があります。次回以降は次の手順からスタートできます

起動1:SteamVR

コントローラー2本の電源を入れて自動的にSteamVRが起動するのを待ってください

起動2:バーチャルモーションキャプチャー

バーチャルモーションキャプチャーは毎回必ずトラッカーの位置のずれ等を補正するためにキャリブレーションを行う必要があります

  1. 起動したらキャリブレーションボタンを押します
    キャリブレーション1
  2. モード選択は必ずMR合成モードを選んでください。通常は1つ目のMR合成モードです
    キャリブレーション2
  3. キャリブレーションボタンを押すか、コントローラーのトリガーを引くとキャリブレーションが開始されます。画面に表示されているモデルと同じポーズ、つまり手のひらが正面を向き、親指が上になるようにコントローラーを持ってTポーズをしてください。腕の動きに違和感がある場合はTポーズより少しYを意識して腕を上げ気味にすると良くなります
    キャリブレーション3

起動3:LIV

最後にVRゲームをLIVから起動させます

  1. LIVを起動してコンポジターを起動後LIV Appのキャプチャーから合成したいゲームを選択し、ターゲット解像度を1280x720にして、シンクロとスタートを押します
    ゲーム起動1
  2. ここまで全て正しく設定が行われていれば、このようにゲームと合成された画面が表示されます(画面はSUPER HOT VR)
    ゲームによっては1回目の起動で正しく合成されない場合があります。その場合ゲームだけ終了し、再度シンクロとスタートを押して起動しなおしてください ゲーム起動2
  3. カメラアングルは自由に変えることが出来ます。バーチャルモーションキャプチャーのカメラを移動すると自動的に合成画面のカメラも同じように動くので好みのカメラアングルを設定しましょう
    Alt + 左クリックドラッグでモデルを中心にカメラを回転
    右クリックドラッグでカメラ位置を中心にカメラを回転
    マウスホイールドラッグでカメラの平行移動
    マウスホイール回転でカメラのズームイン・アウトが出来ます
    ゲーム起動3

録画や配信を行う(参考)

参考までにOBSでの録画・配信設定方法を記載します

  1. ファイルメニューの設定、出力の配信と録画のエンコーダをそれぞれNVIDIA NVENC H.264 (new)等のハードウェアエンコーダに変更します
    OBS1 OBS2
  2. 同じくファイルメニューの設定、映像の解像度をそれぞれ1280x720に変更します
    OBS3
  3. 同じくファイルメニューの設定、音声でVRゲームの音声が流れているデスクトップ音声と、(必要な場合)マイク音声をそれぞれ設定します
    OBS3a
  4. ソースの追加でゲームキャプチャを追加します
    OBS4
  5. モードを特定のウインドウをキャプチャ、ウインドウを[capture.exe]: LIV App Output、カーソルをキャプチャをオフにしてOKを押します
    OBS5
  6. 以上で設定完了です。配信を行う場合は配信先設定を、録画なら初期設定ではビデオフォルダに動画が出力されます
    OBS6

さいごに

以上で全て完了です。2回目以降はキャリブレーションから行えばいいので簡単に動かすことが出来ます。
撮影した動画や配信は是非ハッシュタグ #バーチャルモーションキャプチャー を付けてTwitter等に投稿してください！
皆様の動画が励みになります。よろしくお願いします
また説明書通りにいかない場合はまず上部にあるよくある質問をご覧ください。それでも解決しない場合はTwitterでお問い合わせください

注記事項

  • 本ドキュメントはLIV version2.0.9(2020/09/23)現在の仕様で確認したものです
  • ソフトウェアの仕様・見た目はアップデート等により、予告なく変更されることがあります