Squarepusher BTS

Terminal Slam Music Videoは街の中に存在する広告を全て消去、もしくはSquarepusher由来の広告に入れ替えるということを行ったDiminished Reality, Mixed Reality Music Videoである。近い将来、このMusic Videoで行われた様にAR/MRグラスをかけることによって街中の風景を自由に書き換えることが出来る様になるだろうと真鍋大度は考えて本MVを作成した。
Machine Learningテクノロジーを用いて、

• - Object Detection（画像の中のオブジェクトの位置を認識）
• - Semantic Segmentation（画像の中のピクセル1つひとつに対してラベル付けを行い、意味に応じて画像領域をカテゴリ分類する）
• - Image Inpaint（画像修復技術）

を行った。街中の広告看板はほとんどのものが周期的に変化するため、現在の技術では機械が正確に認識することが難しかったので人力で広告看板の位置データを作成した。
また、解析データ、位置データを用いてマスク情報を作成し、人や広告の存在するエリアのみにグリッチエフェクトをかける、光学迷彩エフェクトをかけるなどのポストプロセス処理を行った。

また、広告の領域を抽出する様な手続きは既存の機械学習技術のみで行うことは不可能だったため、現時点での技術で実現が出来ないものに関しては人力によりマニュアルオペレーションも行った。近い未来には全て自動で出来る様になることを予想しておく。

以下では本MVで実際に使用された映像とエフェクトをかけた映像、そして使用したオープンソースのソースコードを幾つか紹介する。