Squarepusher BTS

abstract

Terminal Slam Music Videoは街の中に存在する広告を全て消去、もしくはSquarepusher由来の広告に入れ替えるということを行ったDiminished Reality, Mixed Reality Music Videoである。近い将来、このMusic Videoで行われた様にAR/MRグラスをかけることによって街中の風景を自由に書き換えることが出来る様になるだろうと真鍋大度は考えて本MVを作成した。
Machine Learningテクノロジーを用いて、

  • - Object Detection(画像の中のオブジェクトの位置を認識)
  • - Semantic Segmentation(画像の中のピクセル1つひとつに対してラベル付けを行い、意味に応じて画像領域をカテゴリ分類する)
  • - Image Inpaint(画像修復技術)

を行った。街中の広告看板はほとんどのものが周期的に変化するため、現在の技術では機械が正確に認識することが難しかったので人力で広告看板の位置データを作成した。
また、解析データ、位置データを用いてマスク情報を作成し、人や広告の存在するエリアのみにグリッチエフェクトをかける、光学迷彩エフェクトをかけるなどのポストプロセス処理を行った。

また、広告の領域を抽出する様な手続きは既存の機械学習技術のみで行うことは不可能だったため、現時点での技術で実現が出来ないものに関しては人力によりマニュアルオペレーションも行った。近い未来には全て自動で出来る様になることを予想しておく。

以下では本MVで実際に使用された映像とエフェクトをかけた映像、そして使用したオープンソースのソースコードを幾つか紹介する。

Original video

optical camouflage effects to people for privacy reason.

Object Detection

Ads by human

Semantic Segmentation

Ads by human

Mask (Semantic Segmentation)

Ads by human

Depth Estimation

Inpaint

Glitch Composer

glitchと音を同期し、機械学習で取得したデータを用いて映像をコンポジションするために作成したMax patchのスクリーンキャプチャ。
Max patchで映像のコンポジションを行い、その結果をjsonファイルで書き出した後、C++のアプリでそのjsonファイルを読み込み映像の書き出しを行った。Max patchのみでマルチスレッド処理を設計するのが難しかったためC++のアプリで映像書き出しを行った。

Sound Interaction

Spleeterを用いて2chの楽曲からドラム、ベースの音をセパレーションして取り出すことによって音に反応してグラフィックを動かす精度を向上した。
https://github.com/deezer/spleeter

Fake Ads

街中にある広告をSquarepusher由来の広告に置き換えるためにフェイク広告の制作を行った。以下は制作物の一部である。

Credit

Director, Glitch Effects and Interaction Designer
Daito Manabe (Rhizomatiks)
Film and Editing director
Kenichiro Shimizu (PELE)
Machine Learning Engineer
Yuta Asai (Rhizomatiks)
Video Export Tool Developer
2bit
Effects Artist
Aya Takamatsu (Rhizomatiks)
Ad Graphic Designer
Kaori Fujii (Rhizomatiks)
CG Director
Junichi Ebe (Freelance)
Effects Supervisors
Kenta Katsuno (+Ring)
akeshi Ozaki (+Ring)
Effects Artists
Mikita Arai (Freelance)
Masaki Takahashi (Freelance)
Digital Artists
Yuki Hirakawa (+Ring)
Yu Onishi (+Ring)
Kenta Hasegawa (+Ring)
Ayaka Yamaguchi (+Ring)
Takeya Kamimura (+Ring)
Ryuichi Ono (Freelance)
CG Producer
Toshihiko Sakata (+Ring)
VFX Airtist
Yoshinobu Okino (Nomad)
Colorlist
Felipe Szulc (Nomad)
Cinematographer
Kazuki Takano (TRIVAL)
Cinematographer / Operator
Takuya Higa (Cyanworksandfilms)
MIDI Data designer
Kyoko Koyama
Cast
SARA (ELEVENPLAY)
Film Producer
Chikako Nagai (PELE)
Producer
Takao Inoue (Rhizomatiks)