Warum lassen wir nicht das Gehörte mit dem Gesehenen verschmelzen? Mit dieser Frage von Michaela Catranis nahm alles seinen Anfang. Die Konzertpianistin und Komponistin von zeitgenössischer klassischer Musik „hatte gemeinsam mit dem Data-Scientist Nikolay Jetchev ursprünglich die Idee, live gespielte Musik und Ton-KI, gestützt in Echtzeit, in Bilder zu übersetzen, um so ein neuartiges multisensorisches Gesamtkunstwerk zu erschaffen“, erzählt Timo Hagenow, seines Zeichens Co-Gründer und CEO des Berliner AI-Innovations-Labors LF1. Gemeinsam mit seinen Kollegen und KI-Experten Duncan Blythe und Alexander Schlegel hat er die Idee in die Realität umgesetzt.
Sternenhaufen im schwarzen Nichts, farbige Lichter, die plötzlich durch die Wolken blitzen und sich ausbreiten – es sind Aufnahmen des Weltraumteleskops „Hubble“, die zu den Klängen von Michaela Catranis’ Stück „Synthingout“ tanzen und das Auditive damit auch optisch zum Leben erwecken. Diese Übersetzung des Tons in Bilder passiert mit Hilfe von modernen KI-Technologien, bei denen verschiedene neuronale Netze zum Einsatz kommen. Wie das geschieht, ist auf der Website von SHEEN AI – so der Name des Projekts – beschrieben: Entsprechend dem Sound „malt“ die visuelle KI mit ihrer Vorstellungskraft Visuals auf eine dynamische Leinwand. Die Imagination basiert auf visuellen Konzepten, die sich aus visuellen Referenzeingaben wie Bildern und Videos ableiten und sie zum Leben erwecken – sogar live auf der Bühne. In weiterer Folge nimmt die Audio-KI den Ton wahr und zerlegt ihn in auditive Komponenten, die wiederum mit visuellen Merkmalen verbunden werden müssen, um das gewünschte Aussehen und das Gefühl des Bilds zu erzeugen.
Eintauchen in Wassertropfen und Acrylfarben
Synthingout ist nämlich nicht das einzige Musikstück, bei dem diese innovative Technologie bereits zum Einsatz kam. Laut Hagenow wurden unter der Marke von SHEEN AI bereits „diverse, aber wenig bekannte“ Tonwerke visualisiert. Nicht immer „malt“ die KI mit Bildern aus dem Weltraum, auch Wassertropfen oder ein Acrylgemälde des Künstlers Pawel Czerwinski lassen – dirigiert durch die Technologie – mit allen Sinnen in das Kunsterlebnis eintauchen.
SHEEN AI, das im Januar 2022 als Projekt von LF1 gestartet wurde, steht erst am Anfang: „Wir arbeiten gerade an einer Reihe spannender Kooperationen, vor allem mit Künstler*innen elektronischer Musik“, erklärt Hagenow, der sich laut eigener Aussage sehr für Musik und visuelle Kunst begeistert. Genaueres darf der Unternehmer dazu zwar noch nicht verraten, die Vision von ihm und seinem kleinen Team ist aber klar:
„Unser Fokus liegt auf der Erforschung des künstlerischen Potenzials einer Symbiose aus Künstlicher Intelligenz und traditionellen Kunstformen“, meint der Geschäftsmann, der derzeit ein Netzwerk an freien Mitarbeitenden und Künstler*innen wie Musiker*innen, Visual Artists und VJs aufbaut. „Unser Ziel ist es, mit Hilfe von KI ein neues Kunstmedium zu schaffen, in dem das Auditive mit dem Visuellen verschmilzt und so eine multisensorische, vollständig immersive Umgebung – als Gesamtkunstwerk – entsteht.“
Zielgruppe: Vom Künstler bis zur Marke
Dieses Gesamtkunstwerk könnte einerseits für visuelle Künstler*innen, die beispielsweise ihre Gemälde zum Leben erwecken möchten, aber auch für Musiker*innen und Labels für die Online-Nutzung oder für Veranstaltungsorte wie Konzerthallen, die audio-reaktive Visuals zeigen wollen, interessant sein. „Auch Veranstalter*innen oder Betreiber*innen, die unsere Visuals als Gimmick oder für Werbezwecke zeigen beziehungsweise nutzen wollen“, sieht Hagenow als potenzielle Zielgruppe. Eine weitere Möglichkeit, dieses immersive Gesamtkunstwerk erlebbar zu machen, sind Konzerte- und Live-Auftritte – beim CAA Award und der Cres.Biennale 2020: Human Machine konnte ein erster Prototyp von SHEEN AI bereits erprobt werden. „Solche Referenzen erleichtern uns natürlich die Suche nach neuen Projekten und tragen dazu bei, dass wir auf Gehör stoßen“, freut sich der gebürtige Hamburger.
Berlin beste Plattform für visuelle Digitalkunst
Buchstäblich auf Gehör stoßen sollen auch die Live-Konzerte, die für das erste Halbjahr 2023 geplant sind. „Vor allem im Bereich der klassischen Musik – hoffentlich mit einem großen Orchester“, sieht Timo Hagenow das Potenzial. Geplant seien zudem DJ-Live-Sets sowie die ersten größeren Installationen. Dass sich SHEEN AI damit in Berlin genau am richtigen Ort befindet, steht für ihn außer Zweifel, bietet es doch „mit seiner Musik- und Klubkultur einfach mit Abstand die beste Plattform für visuelle Digitalkunst in Deutschland, wenn nicht gar europa- oder weltweit.“
Mit seiner aktiven Startup-Szene und der Attraktivität für – internationale – Expert*innen im Bereich KI ist die Bundeshauptstadt auch für die zweite Intention von SHEEN AI die richtige Wahl: „Wir verstehen uns im Kern als Technologieentwickler mit entsprechendem Ressourcenbedarf“, meint Hagenow, „nach dem Motto: Je mehr Leute werken und wirken, desto besser. Insofern haben wir auch den Anspruch zu wachsen.“ So möchte der Unternehmer demnächst nicht nur ausschließlich projektbasiert arbeiten, wie das im Moment der Fall ist. „In Zukunft wollen wir auch die Software lizensieren“, so Timo Hagenow. SHEEN AI hofft somit auf immer mehr immersive Kunstwerke, bei denen das Gehörte mit dem Gesehenen verschmilzt.
