Tecnologia

Escena de la historia de las matemáticas

Música 01

Usando OpenPose, analizamos distintas poses de imágenes teatrales y escenas de películas libres de derechos con tal de recopilar sus datos. Paralelamente, también analizamos la coreografía de las bailarinas. Luego usamos los datos recopilados sobre ambos tipos de poses para desarrollar un sistema de búsqueda de similitud (vecindad) entre ellas. A partir del vídeo de la coreografía, asignamos a cada fotograma la imagen con la pose que más se le parecía para crear un nuevo vídeo, con el que intentamos llevar a cabo la representación.

1 Escena de la audiencia

Música 09

Instalamos un espacio en el vestíbulo del teatro en el que grabamos a los espectadores que habían acudido a ver el espectáculo. Hasta justo antes del inicio de la representación, usamos varios servidores remotos para analizar las características de los movimientos y la ropa de los espectadores grabados. Posteriormente, usando los datos obtenidos junto a los datos de los movimientos de las bailarinas de ELEVENPLAY, tratamos de conseguir que los espectadores aparecieran proyectados bailando sobre el escenario

2 Escena de la reducción de la dimensionalidad

Música 09

Utilizando una técnica de reducción de las dimensiones, transformamos los datos de movimiento en datos 2D y 3D de forma que se pudieran visualizar.

Escena con una bailarina de IA

Música 10

Sentíamos interés por el arte de la danza en sí, por ejemplo, cuáles son las diferencias entre distintos bailarines o entre géneros, o cómo influyen la música y el ritmo en el baile improvisado. Con tal de investigarlo, desarrollamos junto a Parag Mital la red “dance2dance”:
https://github.com/pkmital/dance2dance

Esta red se basa en la arquitectura del “seq2seq” de Google. Como es una arquitectura de red neuronal artificial que se puede utilizar para el modelado secuencial, en este sentido se parece a “char-rnn”.https://google.github.io/seq2seq/https://github.com/karpathy/char-rnn

Para los datos del baile usamos un sistema de captura de movimiento, llevando a cabo capturas 40 veces aproximadamente, a 60 fotogramas por segundo, con lo que conseguimos un total de 2 horas y media de datos. En cada sección, las bailarinas improvisaron en base a 11 temas: alegría, enfado, tristeza, diversión, robótico, sexy, junkie, relajado, animado, ondeante y swing. Con tal de mantener un tiempo definido, se indicó a las bailarinas un ritmo de 120 pulsaciones por minuto.