Technology

Machine Learning

History Scene

Music 01

Openpose を用い、パブリックドメインの舞台映像、映画のシーンのポーズ解析をし、ポーズデータをデータ収集し、そのデータとダンサーの踊りを解析して取得したポーズデータとの近傍探索システムを開発。実際の振り付け動画から、フレーム単位で最も近しいとされたポーズを持つ映像素材を用いた演出を試みた。

1 audience scene

Music 09

会場ロビーにブースを設置し来場者を撮影。
公演開始直前まで撮影データを複数のリモートサーバ上で体験者の服装の特徴や動きを解析し、その解析データとイレブンプレイのモーションデータを用いて観客がダンサーとしてスクリーンに登場する試みを行なった。

2 dimentionality reduction scene

Music 09

次元削減のテクニックを使用してモーションデータを2次元、3次元のデータに変換し、ビジュアライズを行なった。

AI Dancer scene

Music 10

私たちは、ダンサーとスタイルの違いや、音楽のリズムが即興のダンスとどのようにつながっているかなど、ダンスそのものに興味を持ち、探求のために、Parag Mitalと協力してdance2danceというネットワークを制作した。
https://github.com/pkmital/dance2dance

このネットワークは、Googleのseq2seqアーキテクチャに基づいています。これは、順次モデリングに使用できるニューラルネットワークアーキテクチャであるという点でchar-rnnに類似している。https://google.github.io/seq2seq/https://github.com/karpathy/char-rnn

ダンスのデータはモーションキャプチャシステムを使用して、約40回のキャプチャーを行い、60fpsで合計で約2.5時間のデータを収集した。 各セッションは、
joy, angry, sad, fun, robot, sexy, junkie, chilling, bouncy, wavy, swingy
という11つのテーマのもとでダンサーが即興で踊った。ダンサーは、一定のタイミングを保つため120bpmのビートを与えられた。

Hardware

Drone

手のひらサイズのマイクロドローンを5台使用。小型のため従来のものに比べて安全性と機動性が高い。また、機体が小さいため、ステージ上では光の玉だけが浮遊しているかのような視覚的効果がある。モーションキャプチャシステムにより外部より位置を計測し、2.4GHz帯の無線通信によりドローンをリアルタイム制御している。ドローンの動きはダンサーのモーションキャプチャーデータを事前に解析し生成している。

Frame

AR合成やハーフスクリーンへのプロジェクションマッピングにおいて重要な役割を果たす。フレームに7つの赤外線LED、バッテリーを内蔵し、全体を剛体としてモーションキャプチャシステムで認識している。通常の再帰性反射マーカーは肉眼でも見えてしまうためステージ小道具に利用するのはあまり適していないが、赤外線LEDと拡散反射板によって肉眼では見えないが安定してトラッキングができる仕組みを独自に設計、開発した。