Oculus Quest ハンドトラッキングを試してみた

先週提供されたハンドトラッキングをちょっとだけ試してみました。 当初、来年初頭に提供予定とされていた機能だったのですがかなり前倒しして提供されました。

Quest を買ったのはこの機能 （Oculus Link もですが） があったからといっても過言ではありません。昔から Leap Motion とかも試した身としては、究極のインタラクションは手であると。

なので、それが当たり前にできる HoloLens 2 にはとても期待していたのですが、なんか法人特化な体制に移行したっぽいので、しばらくは様子見かな。

Quest でこのハンドトラッキングができるようになると、VR 環境になりますが、（いや、むしろ VR 環境のほうが表現力や没入感が得られるかな？）やりたかったことができるので、HoloLens 2 はしばらく要らないかもと思うようになりました。

ってことで、ちょっと試してみました。 現在のところ対応アプリは存在しないので、Quest の Home 画面を操作できるくらいですが、感じはつかめるかと。

動画は Quest の機能で録画しています。録画のフレームレートが 36 fps 程度なので、実際はもうちょっと滑らかに動いています。

数年前に試した DK2 + Leap Motion の時代を思い出してみると、Leap Motion の方が断然滑らかだった気はするのですが（引っ越しのさなか手持ちの Leap Motion が行方不明なため試せず…）、それでも思いのほかいい反応です。 範囲は Leap Motion に比べればかなり広いですね。 ガーディアン確認時のカメラのフレームレート程度だとは思っていたので。

反応はいいですが、結構簡単にトラッキングが消失します。再認識は早いのですが何度も消失するとイラっとしますね。 ただ、見ていると苦手な手の形というのがありそうです。なので、ある程度慣れでも回避できそうです。 今のところ見ている中央付近しか（ポインター角度が思うように変えられないので）使えないようですね。慣れないと普通に、下の方と手を下げると、間接が重なるせいかロストしてしまい、コントローラーの操作に戻せないとイライラすることもあります。

関節の重なりが起きるとトラッキングは消失しますが、これは今後改善されるか、デバイス的には無理なのか。

まとめ

テスト機能ということで、まだ課題はあるなぁという感じがよくわかりました。

でもまぁいい感じですね。 これで MRTK v2 を使った Near Interaction が可能になるのではと期待できます。 ハンドフリーなのはとてもいいですが、インタラクションした際のフィードバックがどうやっても得られないのがやや課題ですね。どうにか手、できれば指に振動でも与えることができれば面白いにと（そんな製品が昔クラウドファンディング あったような…）。

これなら VR で Virtual テルミンが演奏できそうですねｗ Virtualピアノも遅い簡単な曲なら弾けるのでは？と。

まずは、今週かな？ 提供される SDK 次第ですね。結構いい感じなら、MRTK に組み込んで試してみたいと思います。