Warum lassen wir nicht das Gehörte mit dem Gesehenen verschmelzen? Mit dieser Frage von Michaela Catranis nahm alles seinen Anfang. Die Konzertpianistin und Komponistin von zeitgenössischer klassischer Musik „hatte gemeinsam mit dem Data-Scientist Nikolay Jetchev ursprünglich die Idee, live gespielte Musik und Ton-KI, gestützt in Echtzeit, in Bilder zu übersetzen, um so ein neuartiges multisensorisches Gesamtkunstwerk zu erschaffen“, erzählt Timo Hagenow, seines Zeichens Co-Gründer und CEO des Berliner AI-Innovations-Labors LF1. Gemeinsam mit seinen Kollegen und KI-Experten Duncan Blythe und Alexander Schlegel hat er die Idee in die Realität umgesetzt.

Sternenhaufen im schwarzen Nichts, farbige Lichter, die plötzlich durch die Wolken blitzen und sich ausbreiten – es sind Aufnahmen des Weltraumteleskops „Hubble“, die zu den Klängen von Michaela Catranis’ Stück „Synthingout“ tanzen und das Auditive damit auch optisch zum Leben erwecken. Diese Übersetzung des Tons in Bilder passiert mit Hilfe von modernen KI-Technologien, bei denen verschiedene neuronale Netze zum Einsatz kommen. Wie das geschieht, ist auf der Website von SHEEN AI – so der Name des Projekts – beschrieben: Entsprechend dem Sound „malt“ die visuelle KI mit ihrer Vorstellungskraft Visuals auf eine dynamische Leinwand. Die Imagination basiert auf visuellen Konzepten, die sich aus visuellen Referenzeingaben wie Bildern und Videos  ableiten und sie zum Leben erwecken – sogar live auf der Bühne. In weiterer Folge nimmt die Audio-KI den Ton wahr und zerlegt ihn in auditive Komponenten, die wiederum mit visuellen Merkmalen verbunden werden müssen, um das gewünschte Aussehen und das Gefühl des Bilds zu erzeugen.

Eintauchen in Wassertropfen und Acrylfarben

Synthingout ist nämlich nicht das einzige Musikstück, bei dem diese innovative Technologie bereits zum Einsatz kam. Laut Hagenow wurden unter der Marke von SHEEN AI bereits „diverse, aber wenig bekannte“ Tonwerke visualisiert. Nicht immer „malt“ die KI mit Bildern aus dem Weltraum, auch Wassertropfen oder ein Acrylgemälde des Künstlers Pawel Czerwinski lassen – dirigiert durch die Technologie – mit allen Sinnen in das Kunsterlebnis eintauchen.

SHEEN AI, das im Januar 2022 als Projekt von LF1 gestartet wurde, steht erst am Anfang: „Wir arbeiten gerade an einer Reihe spannender Kooperationen, vor allem mit Künstler*innen elektronischer Musik“, erklärt Hagenow, der sich laut eigener Aussage sehr für Musik und visuelle Kunst begeistert. Genaueres darf der Unternehmer dazu zwar noch nicht verraten, die Vision von ihm und seinem kleinen Team ist aber klar:

„Unser Fokus liegt auf der Erforschung des künstlerischen Potenzials einer Symbiose aus Künstlicher Intelligenz und traditionellen Kunstformen“, meint der Geschäftsmann, der derzeit ein Netzwerk an freien Mitarbeitenden und Künstler*innen wie Musiker*innen, Visual Artists und VJs aufbaut. „Unser Ziel ist es, mit Hilfe von KI ein neues Kunstmedium zu schaffen, in dem das Auditive mit dem Visuellen verschmilzt und so eine multisensorische, vollständig immersive Umgebung – als Gesamtkunstwerk – entsteht.“