Menü

Kernfragen

Ist es möglich, eine Graphic Novel mit generativer KI zu erstellen?
Was bedeutet es, diese neuen Medien in Zusammenarbeit mit anderen zu nutzen?
Und warum sind ihre lokalen und offline-Anwendungen wichtig?

Eine von Teilnehmer*innen generierte Grafik in 4 Panels
Aron mit zeigt ein Schaubild zur ethischen Begründung lokaler Rechenleistung
ComfyUI: ein Node-basiertes Front-End für die generative KI Stable Diffusion
Stadt, Land, Prompt: Verschiedene Prompt-Komponenten als Spiel
Das Ergebnis eines Stadt-Land-Prompt Spiels auf einem Bildschirm
Gemeinsames Troubleshooting im lokalen Interface
Ein Teilnehmer probiert einen ComfyUI Workflow aus.
Eine Beispielgrafik in vier Panels, die kohärent, aber eben nicht gleich sein soll
Eine von Teilnehmer*innen generierte Grafik
Eine Übersicht der vorgestellten Front-Ends für Stable Diffusion

Lokale Diffusion
Empower your own Stable Diffusion Generation

Wann

11. April 2024

Wo

Studio Masterstudiengang Design & Computation, Straße des 17. Juni 135

Lehrender

Aron Petau, studentischer Mitarbeiter im Projekt InKüLe

Art/Umfang

halbtägiger Kurzworkshop

Studierende / Studiengänge

transdisziplinär

Beteiligung InKüLe

Konzeption, Durchführung des Workshops, mediendidaktische Auswertung und Dokumentation

Begleitet von

Maria Kyrou, Aron Petau

Text

Sabine Huschka, Maria Kyrou, Aron Petau

Konzeption von studentischen Workshops unter der Leitung von InKüLe

Einer der studentischen Mitarbeiter:innen von InKüLe, Aron Petau, konzipierte für das Sommersemester 2024 einen Workshop, der sich mit der Hands-on Nutzung von generativer KI, einem Algorithmus namens Stable Diffusion, auseinandersetzte. Als ein zentraler Arbeitsschwerpunkt von InKüLe gehörte dieser Workshop zu einer Reihe weiterer studentischer Lehrangebote, bei denen Studierende gezielt als kreativ-aktive Multiplikator*Innen für die Vermittlung von neuen digitalen Medien und ihrem künstlerischen Potential von InKüLe beraten und unterstützt werden.

Für die Entwicklung der Workshops unterstützte das InKüLe-Team durch Coaching, Feedback-Runden und deren mediendidaktischen Aufbau und half, die Lehrangebote anwendungsorientiert zu konzipieren, zu visualisieren und zu strukturieren.

Studierende als kreative und aktive Multiplikator:innen

So gilt es, den Studierenden ihre eigenen Kompetenzen bewusst zu machen, ihre Sicherheit zu erhöhen und ihr Wissen an Mitstudierende weiterzugeben. Wir achten darauf, dass in den Workshops praxisnahe Lernprozesse und dementsprechend die Vermittlung praktischer Fachkenntnisse im Vordergrund stehen, die speziell auf die Bedürfnisse von Einsteiger:innen abgestimmt sind.

Im Rahmen dieser studentischen Unterstützung durch InKüLe bot ebenso Joel Tenenberg – vormals studentischer Mitarbeiter bei InKüLe – einen Workshop zum 3D-Scannen an, der speziell für die Bedürfnisse von Kunst-Studierenden entwickelt wurde.

Bedeutung von lokal installierten KI-Tools

Fokus und Ziele: Theoretische und spielerische Einführung in A.I.-Tools und Schnittstellen

Der Workshop verfolgte ein doppeltes Ziel: Einerseits sollte er Anfänger:innen einen niedrigschwelligen Einstieg in die Text-to-Image-KI ermöglichen. Gleichzeitig sollte der Workshop eine differenzierte politische Diskussion über die ethischen Auswirkungen jener Tools anstoßen und einige bewusste Entscheidungsoptionen aufzeigen, wie man diese nutzen kann (etwa über lokal installierte Tools). Das Lernformat wurde offen, praxisnah und experimentell gestaltet, wobei der Schwerpunkt auf dem kreativen Output der Teilnehmer:innen lag. Konkret wurden sie aufgefordert, in Gruppen zu arbeiten und gemeinsam mit der KI eine kurze Graphic Novel mit 4-8 Panels zu erstellen. Dabei mussten sie den Algorithmus aktiv verändern und sich mit den verschiedenen Funktionen und Schnittstellen vertraut machen.

Der Ablauf des Workshops war in zwei Hauptteile gegliedert: Zu Beginn fand eine theoretische Einführung in ausgewählte KI-Tools statt, wobei der Schwerpunkt auf der Entmystifizierung der Prozesse lag, die im Hintergrund ablaufen. Der Workshop konzentrierte sich insbesondere auf den Algorithmus Stable Diffusion und bot eine grundlegende Einführung in die Prozesse, die in seinem Kern ablaufen. Dabei haben wir untersucht, was ein Diffusionsprozess eigentlich ist, wie der Prozess der „Noise Reduction“ funktioniert und was ihn von den älteren Generative Adversarial Networks (GANs) unterscheidet.

Um die anfängliche Angst vor dem Prompting zu überwinden, wurden die Teilnehmer:innen aufgefordert, einen Prompt zu verfassen, indem sie eine Runde des Spiels „Kategorien“ integrieren. Den Einsatz gaben jeweilige Anfangsbuchstaben, die mit vordefinierten Prompting-Unterkategorien wie „Thema“, „Farbe“, „Stil“ und „Auflösung“ besetzt und aufgefällt werden mussten. Dieses Spiel fordert die Teilnehmenden heraus, sich in die kreative Gestaltung eines Prompts hineinzudenken und zwar jenseits von vorgefertigten Sätzen, wie sie online zu finden sind.

Bei der weiteren folgenden Hauptaufgabe, eine kurze Graphic Novel zu erstellen, bestand die einzige Vorgabe darin, dass die Panels auf irgendeine Weise miteinander verbunden bleiben sollten. Um dies zu erreichen, wurden verschiedene Möglichkeiten vorgestellt, wie die anfänglichen Parameter der Bilderzeugung vorhersehbarer gestaltet werden können. Parallel dazu wurden verschiedene KI-Nachbearbeitungstechniken auf die erzeugten Bilder angewandt, z. B. Hochskalieren, Maskieren, Übermalen und Neupositionierung.

Visuelles Erzählen mit Stable Diffusion

Die Teilnehmer:Innen haben sich mit großer Begeisterung auf den Workshop-Prozess eingelassen. Sie probierten viele verschiedene Prompts und Einstellungen aus und produzierten Ergebnisse mit einer großen Vielfalt an ästhetischen und visuellen Erzählungen.

Der Workshop endete mit einer abschließenden Diskussion über die ethischen Implikationen des Einsatzes von KI-Tools, die Auswirkungen auf die verschiedenen kreativen Disziplinen und die Frage, ob eine vollständige Abschaffung dieser Tools notwendig oder überhaupt machbar ist.

Lokale KI-Tools verwenden – was soll das?

Bewusst ethische und datenschutzrechtliche Faktoren miteinbeziehen

Eine zentrale Idee für den Workshop war, die ethischen Implikationen des Einsatzes von KI-Tools in den Fokus zu rücken und Konsequenzen von lokaler Rechenleistung im Gegensatz zum Cloud-Computing hervorzuheben. Konkret thematisierte der Workshop zwei wesentliche Unterschiede bei der Anwendung derselben KI-Modelle und -Algorithmen: Zum einen stehen populäre KI-Tools und Plattformen zur Auswahl, wie etwa Midjourney. Hier kann man über eine Schnittstelle, die von einem privaten Unternehmen bereitgestellt wird, verschiedene Arten von digitalen Artefakten generieren. Dies ist oft mit einer Gebühr verbunden und die Ergebnisse werden auf den Servern des Unternehmens gespeichert und für das weitere Training von KI-Modellen verwendet. Zum anderen gibt es aber auch „Graphical User Interfaces“ (GUIs), die zusammen mit dem Algorithmus selbst auf lokaler Hardware installiert werden können. Eine lokale Installation kann in Form von selbst installierten Apps erfolgen, die auf einem privaten Computer laufen oder in Form von selbst installierten GUIs oder anderen sogenannten Front-Ends, auf die man über einen Browser zugreifen kann. Ähnlich hierzu können dieselben KI-Modelle auch direkt in der Cloud abgerufen werden, wobei sie auf bekannten Servern, an einer bekannten Adresse, über einen transparenten Anbieter laufen, wie dies beispielsweise bei der Universität der Künste Berlin der Fall ist. Ein solcher Fall ist automatic1111, eines der Front-Ends (oder auch GUI), das für die Nutzung des Stable-Diffusion Algorithmus an der UdK Berlin auf eigenen Servern verwendet wird.

Universitäts-Dienste sind schneller & zuverlässiger

Aus Perspektive des Datenschutzes ist die letztere Wahl bei weitem die Bewusstere. Auch wenn die UdK-Dienste technisch gesehen ebenfalls ein Cloud-Dienst sind und die Daten auf einem Server gespeichert werden, werden diese weder an Dritte weitergegeben noch für Weiterbildungszwecke oder eine andere Form der Nutzung verwendet, was einen großen Unterschied zur Nutzung proprietärer Cloud-Dienste wie OpenAI darstellt. Gleichzeitig sind die von der Universität gehosteten Dienste manchmal sogar schneller und zuverlässiger als die proprietären Cloud-Dienste.

Erfahrungsbericht von Aron Petau

Die Student-als-Lehrer Perspektive

„Die Vorbereitung eines Workshops fühlte sich definitiv wie eine große Aufgabe an, weil ich das Bedürfnis hatte, Fragen zu Tools zu beantworten, die ich selbst gerade erst entdecke. Eine Sorge war, dass ich die Antwort auf ein fortgeschrittenes technisches Problem nicht geben kann. Dies stellte sich letztendlich als kein großes Problem heraus, was wahrscheinlich an der begrenzten Dauer des Workshops lag. Was die Erfahrung mit einem KI-Workshop angeht, so bin ich der Meinung, dass es mehr als 3 Stunden braucht, um gemeinsam mit den Menschen in solche komplexen Werkzeuge einzutauchen. Selbst durch die Ausweitung des erklärenden/theoretischen Teils habe ich es nicht geschafft, alle Konzepte abzudecken, die ich im Vorfeld für wertvoll eingestuft habe ... Dennoch erscheint mir die Dauer von 3–4 Stunden für einen Einführungsworkshop angemessen, da sich bei längeren Zeitspannen Fehler im Zeitmanagement summieren und hier vielleicht auch mehr Lehrerfahrung nötig wäre.“

Peer-to-peer skillsharing als Lehrformat

Ergebnispräsentation der Panels im Plenum: Wir besprechen auffällige Effekte.

„Gut gefallen hat mir der eher hierarchiearme Rahmen des Workshops, bei dem klar war, dass es sich eher um ein Skillsharing und nicht um ein Vorlesungsformat handelt. Vor allem bei so praktischen Dingen wie der Bilderzeugung konnte ich, wenn ich die Wirkung eines Promptes oder von einem Parameter nicht kannte – wie auch, das ist ja Sinn der Sache – den Effekt einfach gemeinsam mit den Workshop-Teilnehmer:innen  ausprobieren und dann die Ergebnisse untersuchen. Die Teilnehmer:innen schienen das gewählte Format und den Schwierigkeitsgrad zu mögen, bei dem nicht zu viel Mathematik und Formeln vermittelt wurden, sondern eine Intuition für den zugrunde liegenden Prozess. Die Teilnehmer*Innen beteiligten sich auch aktiv an der kritischen Diskussion über den ethischen Einsatz von KI und brachten Perspektiven aus ihren eigenen Bereichen ein, was ich sehr zu schätzen wusste.“

Wie kann didaktische Praxis erlernt werden?

„Während der Vorbereitung dieses Workshops hatte ich die Möglichkeit, selbständig zu arbeiten und meine Workshop-Termine selbst zu bestimmen und zu organisieren. Diese Freiheit und Autorität habe ich sehr geschätzt, aber ein etwas stärkerer Druck auf einen endgültigen Termin hätte mir geholfen, die Bedenken bezüglich der Lehrsituation schneller zu verlieren. Jetzt freue ich mich auf eine mögliche Runde 2 –eine nächste Iteration, in der wir tiefer in die Tiefen von ComfyUi eintauchen können, einer Schnittstelle, die ich absolut liebe, während ihre Macht mir manchmal auch Angst macht.“