… digitale Systeme ohne Tastatur und Maus steuern …
Körper als Echtzeit-Controller für Audio- und visuelle Erlebnisse
Fokus auf umsetzbare Beispiele für ein begrenztes Budget und reduzierte Ressourcen
Technische Herausforderungen können wertvolle Lernerfahrungen bieten.
Körper als Interface – Motion-Tracking
Workshop im Rahmen des UdK Berlin-Festivals Room to Expand
Wann
9.– 11. Oktober 2024
Wo
Salzufer 11-13, 10587 Berlin (Studio Klasse Ter Heijne)
Art/Umfang
Drei halbtägigen Kurzworkshops
Lehrende
Marcello Lussana, Anastasia Putsykina, Fang Tsai
Studierende / Studiengänge
transdisziplinär: Studierende aus verschiedenen Fakultäten, die an Room to Expand teilnehmen, darunter Bildende Kunst, Bühnenbild/Darstellende Kunst, Kunst in Kontext, Medienwerkstatt (UdK), Spiel und Objekt (HfS)
Beteiligung InKüLe
Konzeption und Leitung des Workshops, technische Unterstützung / Beratung der Studierenden nach dem Workshop
Begleitet / reflektiert von
Eman Safavi Bayat, Marcello Lussana, Anastasia Putsykina, Fang Tsai
Text
Sabine Huschka, Marcello Lussana, Anastasia Putsykina, Fang Tsai
Ein Folgeworkshop zur medialen, performativen und spielerischen Erforschung von Körperbewegungen und Gesten
Im Frühling 2024 veranstaltete InKüLe einen TouchDesigner+Kinect Motion-Capture-Workshop für die Performance-Klasse der Freien Kunst (Klasse Ter Heijne) mit dem Titel „Capturekit & Streamingkit: Kreatives Streaming – Live-Körperbewegungserfassung mit visueller Effekterforschung“. Ziel des Workshops war, Teilnehmer:innen mit performativem Hintergrund einen Einblick in digitale Medien wie Motion-Capture in Kombination mit Audio-/visuellen Effekten zu geben und mediale Zugänge für die eigene künstlerische Praxis zu erproben.
Der gut besuchte vierstündige Workshop mit einer Einführung in die von InKüLe entwickelten Toolkits (capturekit & streamingkit) sowie eines anfängerfreundlichen TouchDesigner-Tutorials erwies sich als zu kurz. Die Studierenden hatten nicht ausreichend genug Zeit, um eigene experimentelle Performances zu entwickeln. So entschied sich das Team von InKüLe gemeinsam mit Prof. Mathilde Ter Heijne, einen dreitägigen Workshop kurz vor Beginn des Wintersemesters mit der Thematik „Körper als Schnittstelle – Motion-Tracking-Workshop mit TouchDesigner & Azure Kinect“ anzubieten, geöffnet für alle Studierenden des Festivals Room to Expand.
Das Room to Expand Festival hat sich seit Oktober 2023 als ein jährlich stattfindendes Festival entwickelt, ins Leben gerufen von Prof. Mathilde Ter Heijne. Es vereint verschiedene performative Klassen und Studiengänge der UdK Berlin, darunter Zeitbasierte Kunst- und Performance-Klassen, Skulpturenklasse, Bühnenbild, die Medienwerkstatt der Fakultät Bildende Kunst sowie das SODA-Masterstudium am HZT und richtet sich dementsprechend darauf, Ressourcen und Räume über Institutsgrenzen hinweg zu teilen und Studierende zu interdisziplinärer Zusammenarbeit zu ermutigen – ein Ansatz, den InKüLe besonders schätzt und unterstützt.
Körper als Schnittstelle
Motion-Tracking-Workshop mit TouchDesigner & Azure Kinect
Das Lehrangebot von InKüLe „Körper als Schnittstelle – Motion-Tracking-Workshop mit TouchDesigner & Azure Kinect“ konzentrierte sich auf das Azure Kinect Motion-Capture-Gerät und all seine Möglichkeiten. Im Zentrum standen die Fragen: Wie können wir digitale Systeme ohne Tastatur und Maus steuern, indem wir unsere Körper als Echtzeit-Controller für Audio- und visuelle Erlebnisse einsetzen? Wie verändern sich Qualitäten und Bedeutung von Gesten und Körperbewegungen in der digitalen Welt? Der Workshop wurde sowohl für Studierende mit als auch ohne Vorerfahrung im Bereich Körperbewegung konzipiert und ermutigte die Teilnehmenden, die Möglichkeiten des Motion-Tracking für verschiedene kreative Anwendungen zu erkunden, einschließlich Performances und Installationen. Die Teilnehmenden nutzten die Software TouchDesigner, um sich mit den Motion-Tracking-Funktionen der Azure Kinect auseinanderzusetzen und mit ihrem Potenzial für digitale Kunst zu experimentieren.
Der dreitägige Workshop begann mit einer auf den künstlerischen Anwendungsbereich ausgerichteten Einführung in die Motion-Capture-Technologie. Hierzu stellte Fang Tsai mehrere interaktive Installationsprojekte und ihre Anwendungen von Software-Tools und Kinect-Sensoren vor, die spezifische performative Zugänge zu Motion-Capture verdeutlichten. Anschließend erhielten die Teilnehmenden eine strukturierte Einführung in die Prinzipien von Motion-Capture mit Blick auf verschiedene Tracking-Methoden und einer grundlegenden Hinführung zu TouchDesigner, einer node-basierten Programmiersoftware. Der erste Tag endete mit einer Demonstration eines interaktiven Klang-Patches, entwickelt von Eman Safavi, der im Sinne eines virtuellen Schlagzeugs – gesteuert über Gesten – im weiteren Verlauf des Workshops experimentell zum Einsatz kam.
Am zweiten Tag konzentrierte sich die Arbeit im Workshop auf das praktische Experimentieren, angeregt über kurze Präsentationen künstlerischer Arbeiten, die auf der Basis von Motion-Capture-Technologien zu Stande kamen, wie etwa das Projekt „8K Deep Space“ (Ars Electronica) sowie ein Partikeltanzprojekt des Studios Onformative. Die Teilnehmenden erhielten danach eine fokussierte Einführung in die TouchDesigner-Community und verfügbare Online-Ressourcen. Schritt für Schritt unterstützte sie das Team bei der Bearbeitung eigener TouchDesigner-Patches, wobei Azure Kinect als visuelle Eingabe verwendet wurde. Dieser Arbeitsbereich umfasste die Extraktion und Nutzung von Skelettdaten aus Azure Kinect sowie die Erkundung und Anpassung verschiedener Implementierungsbeispiele. Am Ende des zweiten Tages tauschten die Studierenden ihre Interessen und Fragestellungen aus und entwickelten erste Ideen für eigene künstlerische Projekte, die sie mit dieser Technologie ausprobieren wollten.
Gruppiert nach gemeinsamen Interessen und Themen der Teilnehmenden stand der dritte Tag ganz im Zeichen der praktischen Projektarbeit. Drei Studierendengruppen arbeiteten jeweils unter der fachlichen Betreuung eines Tutors bzw. einer Tutorin und deren technischen Unterstützung an der Umsetzung der Projektideen. Den Abschluss bildete eine Feedback-Runde, in der die Teilnehmenden ihre Erkenntnisse und Erfahrungen reflektierten. Im Anschluss hatte jede Gruppe 10 Minuten Zeit, ihre Ergebnisse zu präsentieren, die Projekte vorzustellen und ihren kreativen Prozess sowie die angewandten Methoden und Technologien zu erläutern.
Didaktik, Reflexionen und Erkenntnisse
Ein zielgerichteter Rahmen mit ausgewählten Materialie
Das Programm TouchDesigner wurde für Anwender:innen ohne Programmiererfahrung entwickelt, um generierte visuelle Inhalte zu erstellen. Dennoch können die Benutzeroberfläche und die dahinterstehende Logik für Einsteiger:innen zunächst abschreckend wirken. Um den Teilnehmenden den Einstieg zu erleichtern, arbeiteten wir daher klare, fokussierte Ziele heraus, um den Lernprozess zeitlich und künstlerisch strukturieren zu können.
Zur Erweiterung der Bandbreite an visuellen Möglichkeiten für die Teilnehmenden, hatte das InKüLe Team mehrere kuratierte Beispiel-Dateien in TouchDesigner vorbereitet, um direkt mit ihnen arbeiten zu können. Dieser Ansatz ermöglichte es den Studierenden, verschiedene Parameter zu erkunden und anzupassen, ohne bei Null beginnen zu müssen. Vor allem aber konnten sie ihre kreativen Ideen leichter und innerhalb des begrenzten Zeitrahmens des Workshops verwirklichen.
Realisierbare Beispiele künstlerischer Projekte mit Motion-Capture-Technologie
Basierend auf dem Feedback aus unserem vorherigen Workshop „capturekit & streamingkit“, erschien es sinnvoll, nicht nur eine breite Palette bestehender künstlerischer und kommerzieller Körper-Tracking-Projekte vorzustellen, um das Verständnis der Studierenden für die Potenziale dieser Tools zu erweitern, sondern dabei vor allem einen Fokus auf umsetzbare Beispiele für ein begrenztes Budgets und reduzierte Ressourcen zu legen. Dieser Fokus auf realisierbare Projekte der künstlerischen Praxis ermöglicht es den Teilnehmenden, eine realistische Einschätzung der medialen Tools für die Umsetzung ihrer eigenen künstlerischen Ideen zu erhalten und gewünschte Ergebnisse und Ziele aus dem Workshop für sich klarer perspektivieren zu können. Der methodische Ansatz verringert damit entschieden das Risiko, die Teilnehmer:innen mit hohen technischen Anforderungen zu überfordern. Stattdessen fördert er eine inklusive Lernumgebung.
Bewertung der Projektumsetzbarkeit für Studierende
Ein wichtiges Feedback aus dem vorherigen Workshop verwies uns zudem darauf, im Workshopverlauf die mögliche Umsetzbarkeit der von den Studierenden eingebrachten Projektideen zu beachten und zu kommentieren. So wurden im Folgeworkshop die Teilnehmenden ermutigt, ein Motion-Capture-Projekt zu entwickeln und an diesem in interessensgeleiteten Gruppen gemeinsam mit eine/r/m Tutor:in zu arbeiten, um die Konzeptentwicklung durchzugehen und technische Herausforderungen zu meistern. Diese Arbeitsweise beachtete dabei nicht die unterschiedlichen Komplexitätsgrade der eingebrachten Projektideen seitens der Teilnehmenden. In der Konsequenz ließen sich manche Projektideen im gegebenen Zeitrahmen des Workshops leicht umsetzen während andere mit größeren Herausforderungen in ihrer Umsetzung konfrontiert waren. Angesichts dessen schlugen die Studierende vor, dass die Tutor:innen schon während der ersten Entwicklungsphase die potenzielle Schwierigkeit jeder Projektidee besprechen und bewerten sollten – möglicherweise auf einer Skala von 1 bis 10. Dies würde es den Teilnehmenden erleichtern, ihre Ideen besser mit der verfügbaren Zeit und Ressourcen abzugleichen, da viele Studierende zugleich noch mit der Einarbeitung in die Software und ihren grundlegenden Möglichkeiten befasst wären. Die Studierenden bewerteten dabei eine anfängliche Intervention seitens der Tutor:innen als Chance, sich primär auf die inhaltliche Ausarbeitung ihrer Ideen konzentrieren zu können und weniger mit einer technischen Problemlösungen befasst zu sein. Dies würde ihres Erachtens das Lernerlebnis verbessern.
Aus unserer Perspektive der Lehrenden können gerade technische Herausforderungen wertvolle Lernerfahrungen bieten. Gerade für Teilnehmende, die über geringe technische Vorkenntnisse verfügen, kann eine Einschätzung der Lehrenden, die den Schwierigkeitsgrad jeder Projektidee bestimmt, eine Art Scaffolding – im Sinne einer ersten Orientierungshilfe – sein. Dank des damit strukturierten Rahmens lernen die Studierenden, Schritt für Schritt ihre Ideen zu realisieren und damit auch, sich nicht gleich von Herausforderungen entmutigen zu lassen, sondern aktiv nach weiteren Lösungen zu suchen. Eine frühe Einschätzung sollte daher eine erste Orientierung bieten, ohne den Spielraum für eigenständiges Experimentieren und praktische Lernerfahrungen einzuschränken. Gleichzeitig bleibt die Frage offen, inwieweit Herausforderungen als Teil des kreativen Prozesses bewusst zugelassen werden sollten. Diese Entscheidung hängt stark vom Thema, dem Schwierigkeitsgrad der vermittelten Technik und den Kompetenzen der Teilnehmenden ab und sollte in jedem spezifischen Fall neu abgewogen werden.
Dokumentation des TouchDesigner-Workflows
Die erstellten TouchDesigner-Patches wurden mithilfe eines automatisierten Prozesses dokumentiert. Da die TouchDesigner-Projektdateien in binärer Form gespeichert sind, müssen diese zuerst in ein Textformat umgewandelt werden – ein Prozess, der Dank des Skriptmoduls Toeexpand möglich wird. Die TouchDesigner-Installation umfasst dieses Modul. Nach diesem Prozess der Umwandlung werden die strukturierten Daten kombiniert und zu einem lesbaren Format verarbeitet, das den Zweck und die Konfiguration jeder Komponente hervorhebt. Die von uns vorgenommene Automatisierung dieses Workflows gewährleistet dabei dreierlei: eine Konsistenz der Daten, Zeitersparnis und einen nachvollziehbaren und klaren Einblick in die Funktionsweise der Patches, ihrer Verwendung und Anpassung. Ein weiterer Arbeitsschritt wurde von uns an ChatGPT übergeben, in dem die einzelnen Textdateien zusammen mit Screenshots der TouchDesigner-Patches mit der Aufgabenstellung für ChatGPT verknüpft wurden, eine Beschreibung des Patches zu erstellen. Zur Auswertung und Dokumentation der Arbeitsschritte im Workshop haben wir ein öffentliches Github repository eingerichtet, das alle verwendeten Patches enthält, einschließlich der generierten Dokumentation und einer Beschreibung des gesamten automatisierten Dokumentationsprozesses.
Klare Workshop-Struktur verbessert das Zeitmanagement
Der Workshop basierte auf einer detaillierten und schrittweise eingeführten Struktur, dank derer wir den konzipierten Zeitplan gut einhalten und gleichzeitig flexibel auf die Bedürfnisse der Studierenden eingehen konnten. Theoretische Inputs und praktische Anwendungsinformationen wurden hierdurch effizient vermittelt. Der Workshop war überdies flankiert von Einzelsitzungen unserer Tutor:innen für die Studierenden, so dass sie innerhalb eines festgelegten Zeitrahmens auf klar fokussierte Ziele hin gearbeitet haben.
