快適なVroid配信するために、インターネット上にあるトラッキングツールを一通りは使ってみたと思うので、その感想です。
環境
- CPU：Intel Core i7-12700
- グラボ：NVIDIA GeForce RTX3070Ti
- メモリ：32GB
- キャプチャーボード：ELGATO HD60 X
- Webカメラ：ロジクール C920n（フェイストラッキング用）、バッファロー BSW305MBK（全身・上半身トラッキング用）
配信は基本的にOBS+VseeFace+各種トラッキングツールを使用しており、これだけでCPUとメモリ使用率はそれぞれ30%台になってます。（PCゲームプレイ時はさらに＋αになる）
VseeFace：無料
フェイストラッキングアプリはもうこれでいいんじゃないかな～。学習機能による表情の認識機能がすごいのでパーフェクトシンク設定をしなくてもいい（個人の感想です）。基本的には各トラッキングアプリから送信されたVMCプロトコルをVseefaceで受信して、OBSのSpout2を使って配信をしています。これだと設定画面が映り込むような事故がないのがいい。基本的に手のトラッキングもほしいから単体で使うことはあんまりないかも。でも準備がめんどくさいときとか単体で使うときもある。
Leap Motion Controller：中古で8000円～
手元を映したいときに使う、ハンドトラッキングデバイス。スマホ用ネックマウントで首からぶら下げて、キーボードとマウス操作するゲームのときに使ってる。すごく発熱するので物理的に胸が熱い。手に大きな動きがない場合、トラッキングがすぐ外れる気がする。新型は性能あがってるらしいけど、お値段がね…。USBケーブルつなぐだけなので手軽にキャプチャーができるのが良い。
ThreeDposeTracker：無料
全身トラッキング用アプリ。フィットボクシングやるときに使ってる。広角カメラ使えば狭い部屋でもまあまあ全身トラッキングしてくれる。部屋が狭いし散らかってるので下半身が暴れるんだけど、配信に映してるのは上半身メインなので気にしてない。フィットボクシングしてると指がもじもじしてるのは気になるけど、全身トラッキングが目当で、ハンドトラッキングはそこまで必要もないしな…という感じ。上半身モードあるけど、上半身モードといいつつ全身がカメラに収める必要があるので、ゲーム配信時の手トラッキングには使えないかな。
Webcam Motion Capture：月額199円（体験版あり）
上半身メインのトラッキングアプリ。指認識の精度が高い。お試しで1か月課金してみたけど、LeapMotion持ってたら使わないかもなあ。
VMagicMirror：2500円（Free版あり）
入力に連動してゲームパッド操作したりマウスをスッスと操作したりキーボードたたいてくれる。ゲームパッド握ってくれるのはとってもいいんだけど、左スティック操作すると体がぐわんぐわん揺れるのがちょっと気になる。どっかで揺れ幅は設定できるのかな。作業の時とかにデスクトップアバターみたいな感じで画面の隅にいるとかわいいと思う。これはVseeFaceからのVMCプロトコルを受信して使ってるので配信に乗せるのはVMagicMirrorになり、UI消し忘れなどの事故が若干こわい。
XR Animator：無料
UIにかなり癖があるようで手を出してなかったんだけど、最近日本語版がでたらしいのでダウンロードしてみたんですが…UIが…UIに癖がありすぎる…ッ！！日本語になってもUIが難解すぎて、何がどこにあるのか全然わかんなかった。ひとつ前に戻るもできないの、逆にすごいぜ。トラッキング精度は結構いい感じな気がする。まだ上半身でしか確認してないけど…。
VMCプロトコル送信できるのでVseeFaceに送信してみたけど、フェイストラッキングを無効にする項目がないのでVseeFaceで設定した口の動き＋フェイストラッキングの口の動きが合わさってえらいことになってしまった。これは単体で動かす必要があるかもな～。フェイストラッキングもちゃんと設定すれば結構いい感じになりそうではあるし、とってもポテンシャルがあるアプリだとは思うけど…思うけど…UIが…UIの使いづらさがすべてをおしまいにしている。つらすぎる。
Webカメラ2台用意すればまあまあそれなりに全身トラッキングできるし、アプリも無料で体験できるのがほとんどなので色々触って自分に合うアプリを見つけるのがいいかも。わたしはVseeFace+LeapMotionと、VseeFace+ThreeDposeTrackerに落ち着きそうです。
というか動画つければよかったな。気が向いたらそれぞれのツール使ったときの動画を追記しておきます。
トラッキングはこれで良いとして、次はいよいよボイスチェンジャーだな…。最近リリースされたParavoというAIボイスチェンジャーが気になってます。
いわゆる普通のVC（ピッチとフォルマントを操作するやつ）でもいいとは思うけど、そっちもそっちで沼の予感しかしないしな～。ちょっと調べたけど、自分のPCの構成なら、マイク→NVIDIA Broadcast→Paravo→VB-CABLE→OBSでいけそう。今度いろいろやってみよう。