ELEVENPLAY x Rhizomatiks Research "right brain"

CATEGORY:
STAGE PERFORMANCE WITH MIKIKO

画像 画像 画像 画像 画像

Abstract

AR技術を用いたELEVENPLAYとのコラボレーション作品。モーションキャプチャーシステムと独自のカメラシステムを用いて身体の動きを解析しビジュアライズ。

System

Studio Setup 画像
System 画像
画像

本作品では、カメラの位置姿勢、ズームレンズのレンズデータ、KinectV2のデプスデータを同時収録し映像合成に活用することを試みた。カメラの位置姿勢は、カメラに反射マーカーを取り付けOptiTrackでトラッキング。レンズデータはFujinonレンズのシリアル通信インターフェースを用いて取得。ズームレンズキャリブレーションはズーム、フォーカスを適当な間隔でサンプリングし、各点についてチェッカーボードを用いたキャリブレーションを実施。各点間は線形補間したデータを用いた。KinectV2は当初、デプスデータで人物マスクを生成する試みのために使用。しかし、KinectV2のIRフラッシュがカメラのマーカーに干渉したり、そもそも解像度的にマスクとして使うのは難しいと判断されたため、最終的にはKinectV2は不使用。また、CG合成のために、ダンサーの手と頭にマーカーを装着し、OptiTrackでトラッキングを行った。

モーショングラフィックスの制作に当たっては、事前に歪み補正をしたカメラ映像とダンサーに取り付けたマーカーのAlembicデータを作成し、Cinema4Dで制作を行った。

Making

camera system movie

Exported Alembic Data Preview

KinectV2 Recording Test (Failure)

Credit

  • artistic direction + choreography: MIKIKO(elevenplay)
  • visual programming + motion graphic design: Satoru Higa
  • artistic direction + technical direction: Daito Manabe(Rhizomatiks)
  • camera system + computer vision programming: Yuya Hanai(Rhizomatiks)
  • camera: Muryo Homma(Rhizomatiks)
  • music: Ametsub