Welche Interaktionsformen und sinnlichen Erfahrungsräume entstehen in Auseinandersetzung mit multimodalen Sensortechnologien?
Kollisionen: Machine Sensing.
Virtual Em/bodi/e/ment/s
Wann
8.–12. Januar, 2024
Wo
UdK Berlin, Bundesallee 1-12, 10719 Berlin
Lehrende
Mariam Rafehi, Rinah Regina Wuzella
Art/Umfang
fünftägiges Blockseminar (7 Std. pro Tag)
Studierende/Studiengänge
transdisziplinäres, universitätsweites Format
Arbeitsbereiche von InKüLe
12 Studierende aus den Studiengängen Bildende Kunst, Produktdesign, Modedesign, Gesellschafts- und Wirtschaftskommunikation, sowie Design & Computation
Beteiligung von InKüLe
Thematische und didaktische Konzeption, technologische Expertise und Ausstattung, Lehre und Auswertung
Text
Sabine Huschka, Mariam Rafehi, Rinah Regina Wuzella
Virtuelle Verkörperung und menschlich-maschinelle Synästhesien
Das Blockseminar „Machine Sensing. Virtual Em/bodi/e/ment/s“ fand, konzipiert und gelehrt von Mariam Rafehi und Rinah Regina Wuzella, im Rahmen von Kollisionen 2024 – einer interdisziplinären Projektwoche der UdK Berlin, statt.
Die Basis des Seminars bildete eine kritisch-medientheoretische Auseinandersetzung mit ubiquitären, pervasiven Sensor-Technologien, die in ihren Möglichkeiten und Utopien eines maschinellen Fühlens und eines allumfassenden Handlungsraumes experimentell in praktischen Anwendungsszenarien reflektiert wurden. Mittels der Technologien von Azure Kinect Sensoren und Oculus Quest VR gestaltete das Seminar Zugänge für eine multimediale und multimodale Auseinandersetzung mit der Frage, wie virtuelle und physische Lebenswelten via sensor-basierter Interfaces in Austausch treten. Thematisch stand damit das konzeptionelle und praxis-basierte Erkunden des Zusammenspiels von sensor-basierten Interfaces und körperlicher Sinneserfahrung im Vordergrund. Welche künstlerischen Ausdrucksformen können aus diesem Zusammenspiel hervorgehen? Welche sinnlichen Erfahrungsräume entstehen durch graduell bearbeitete technologische Übergänge und wie lassen sich diese gestalten? Welche Wahrnehmungsmodalitäten gehen aus dem Zusammenspiel sensueller und maschineller Operationen hervor?
Ziel des gemeinsamen Seminarangebots war – unterstützt durch InKüLe – kreativ-innovative Spielräume für künstlerisches Arbeiten als Handlungskompetenz im Digitalen zu erschließen und durch die interdisziplinäre Zusammenarbeit der Studierenden zu erproben.
Theorie und Experiment
Die Studierenden reflektierten zu Beginn des Seminars verschiedene medientheoretische Texte in ihren medienkritischen Ansätzen, Begriffen und Fantasien zum ‚Machine Sensing‘. Aus konkreten Anwendungsszenarien mit Azure Kinect Sensoren diskutierten sie daraufhin das Potential ihrer technologischen Möglichkeiten, einen agentiellen körperlichen Interaktionsraum zu schaffen. Erörtert wurden etwa die Formen der entstehenden Gesten, ihren Qualitäten und Klassifikationen.
Die Erkenntnisse aus der experimentellen Auseinandersetzung mit Azure Kinect wurden am zweiten Seminartag präsentiert und gemeinsam zur Diskussion gestellt. Es folgten weitere Experimente mit sensor-basierten, immersiven digitalen Umgebungen. In interdisziplinären Arbeitsgruppen entwickelten die Studierenden, unterstützt durch die Seminarleiterinnen, kritische Leitfragen für eine Projektentwicklung: Welche sensorischen Erweiterungen erlauben Maschinen uns Menschen? Welche ambivalenten Vernetzungen zwischen Menschen und Maschinen entstehen? Wie unterscheiden sich sinnliche Erfahrungsräume des Menschen von maschinellem Detektieren? Wie können menschlich-sensorische Sinnesleistungen maschinell übersetzt werden?
Anhand dieser Leitfragen, zusammengestellt zu Interaktionsbausteinen von Templates – sogenannten SDK – , arbeiteten die Studierenden für den Azure Kinect Sensor mit der Software Unity 3D eigene Projektideen, etwa in Form von Installationen, aus. Die gewählte Arbeitsmethode der Templates und der angebotenen technischen Unterstützung durch die Seminarleiterinnen ermöglichte es, auch Studierende mit geringen Vorkenntnissen ihre Ideen und kritischen Reflexionen in Unity 3D umzusetzen. Hierzu wurden Beispielanwendung in Unity 3D zur Erstellung von interaktiven Installationen mit dem Azure Kinect Sensor als Open Educational Ressource (OER) ausgearbeitet bereitgestellt.
Die Ausstellung als Reflexionsraum
Fünf der im Seminar entstandenen Installationen und Projekte wurden im Rahmen der Veranstaltung Vorspiel Transmediale Festival 2024 in der Galerie im Medienhaus der UdK Berlin ausgestellt:
(1) Die Installation „Liminal Bodies“ reflektierte Synästhesie und Sinneserweiterung und erweiterte körperliche Bewegungen durch Klänge und visuelle Gestaltungen.
(2) Die audiovisuelle Installation „Trustworthy Surfaces“ thematisierte Dynamiken in der Kommunikation zwischen Mensch und Maschine. Die vom Sensor erkannten Objekte und Menschen wurden vom Programm kategorisiert und gelabelt und gaben damit Einblick in die Übersetzungsarbeit maschinellen „Sehens“.
(3) Das Projekt „Machine Vision“ ließ Besucher:innen Raum und Objekte durch die ‚Augen‘ der Azure Kinect wahrnehmen. Hierzu wurde ihnen eine VR-Brille aufgesetzt, die die Umgebung scannte und in Echtzeit als schwarz-weiße Pointcloud projezierte. Auf diese Weise konnten die Besucher:innen mit ihrer Umgebung und anderen Menschen interagieren.
(4) Das Projekt „Bridging Species“ nutze VR, um für Menschen die Erfahrungen eines Hundes erlebbar zu machen.
(5) Das Projekt „C-love“ veränderte Interaktionen mit einem Klavier durch visuelle und haptische Sensorik.
Die Ausstellung – kuratiert von Mariam Rafehi und Rinah Regina Wuzella – brachte als kritischer, reflexiver und interaktiver Raum die Studierenden in Austausch mit einem breitgefächerten Publikum des Transmediale Festivals. Thematisch stand die Ausstellung ganz im Zeichen der Auseinandersetzung mit Konzepten virtueller Verkörperung und dem sich aktuell aufspannenden Diskurs über menschlich-maschinelle Sinneskopplungen.
