In einer Zeit, in der künstliche Intelligenz (KI) immer stärker in den Alltag integriert wird, stellt sich eine zentrale Frage: Welche Rolle spielt KI bei der Verbreitung von Desinformation und wie können wir dieser Gefahr begegnen? Gerade narrative Desinformation, die durch KI-Systeme verstärkt wird, birgt das Potenzial, gesellschaftliche Spaltungen zu vertiefen und Vertrauen in demokratische Prozesse zu untergraben. Dr. Vera Schmitt und ihr Team an der TU Berlin erforschen innovative Ansätze, um KI-basierte Desinformation zu erkennen und zu bekämpfen. In diesem Gespräch möchten wir mehr darüber erfahren, welche aktuellen Herausforderungen bestehen, welche Strategien erfolgversprechend sind und wie die Zusammenarbeit zwischen Forschung, Politik und Gesellschaft gestaltet werden kann, um die Integrität unserer Informationslandschaft zu wahren.
Frau Dr. Schmitt, Sie leiten die XplaiNLP-Gruppe am Quality and Usability Lab der TU Berlin. Wie haben Sie persönlich Ihr Interesse an der Forschung zu Desinformationsnarrativen und KI entdeckt? Was fasziniert Sie an diesem Thema und woran arbeiten Sie derzeit besonders intensiv?
Das Thema Wahrheit, Realität und Desinformation beschäftigt mich schon seit längerer Zeit. Bereits in meiner frühen Jugend fand ich besonderes Interesse an Philosophen der Antike, Kant, Nietzsche und Wittgenstein, die sich intensiv mit dem Begriff der Wahrheit auseinandersetzt haben. Wie gehen wir mit unserer sinnlichen Wahrnehmung der Welt und der Ideenwelt um? Wie können wir sicherstellen, dass unsere Wahrnehmung mit der Realität übereinstimmt? Und wie lässt sich feststellen, ob Aussagen, die wir auf Basis unserer Beobachtungen treffen, tatsächlich der Realität entsprechen? Diese Fragen haben mich nicht mehr losgelassen und während meiner Promotion habe ich die XplaiNLP Forschungsgruppe aufgebaut, um einigen Fragen auf den Grund zu gehen.
Innerhalb der Forschungsgruppe haben wir zwei Schwerpunkte:
Zum einen liegt der Fokus darauf, wie wir mithilfe von Methoden der natürlichen Sprachverarbeitung Mis- und Desinformation identifizieren können. Stilistische Merkmale wie Hassrede und stark emotional aufgeladener Inhalt sind häufig Indikatoren für solche Fehlinformationen. Auf inhaltlicher Ebene gleichen wir zudem Aussagen, Social Media Beiträge und Artikel mit bekanntem Wissen und etablierten Fakten ab, um festzustellen, ob es sich um Mis- oder Desinformation handelt. Hier untersuchen wir nicht nur einzelne Aussagen, sondern auch Desinformationsnarrative, die sich häufig auch über unterschiedliche Kulturräume wiederholen.
Ein weiterer Schwerpunkt unserer Arbeit liegt auf der Erklärbarkeit der KI, um die von uns zur Erkennung von Desinformation eingesetzten Sprachmodelle transparent zu machen. Unser Fokus liegt dabei auf aussagekräftigen Erklärungen in natürlicher Sprache, um die Modellergebnisse NutzerInnen unserer Tools mit unterschiedlichen Wissensständen verständlich zu vermitteln. Zudem untersuchen wir modellbasierte Halluzinationen und arbeiten daran, diese zu minimieren, damit die Ergebnisse der Modelle die Realität präzise widerspiegeln.
Die Fähigkeiten von KI, besonders im Bereich der Generierung von Texten, werden täglich zur Verbreitung von Desinformationen genutzt. Im November findet die nächste US-Wahl statt, die polarisierender nicht sein könnte. Welche Beobachtungen haben Sie hier aus der Ferne gemacht? Wie wird KI im Vorfeld gezielt genutzt und gibt es Maßnahmen, um diese Falschinformationen zu entlarven?
Gezielte Desinformation haben wir seit den letzten Jahren viel im Vorfeld von Wahlen, aber auch von Konflikten und Kriegen wie in der Ukraine und Israel beobachten können. Gerade im Vorfeld der nächsten US-Wahlen im November, die bereits jetzt als extrem polarisiert gelten, lässt sich diese Entwicklung gut beobachten. KI-gestützte Modelle wie generative Sprachmodelle werden eingesetzt, um Inhalte in großem Umfang zu erzeugen – oft personalisierte Desinformationskampagnen, die spezifische Bevölkerungsgruppen ansprechen. Dies reicht von gefälschten Social Media Beiträgen bis hin zu automatisierten Nachrichtenartikeln, die Emotionen schüren oder bestehende Spaltungen vertiefen. Besonders problematisch ist, dass die generierten Inhalte oft schwer von authentischen Informationen zu unterscheiden sind, da sie auf der Oberfläche plausibel und professionell wirken. Während des TV-Duells von ABC hatte Donald Trump eine Behauptung geäußert, dass Einwanderer in Ohio Haustiere essen würden. Diese Behauptung kann sehr deutlich und schnell als Falschbehauptung entlarvt werden. Oft ist es jedoch sehr viel schwieriger. Ob etwas der Realität entspricht, kann häufig nicht mit “ja” oder “nein” beantwortet werden, sondern wir haben es auch sehr häufig mit Übertreibungen, Beschönigungen und auch Auslassen von Details zu tun, die eine objektive Einschätzung einer Situation sehr schwierig machen. Auch das Verbreiten realistischer Deepfakes, die von Modellen wie DALL-E, Midjourney und Sora erstellt werden, hinterlässt einen bleibenden Eindruck. Desinformation hat dadurch eine neue Dimension erreicht, die zu erheblicher Verunsicherung führt, da wir Bildern, Videos und selbst Audioaufnahmen zunehmend misstrauen. Das Bild, das Taylor Swift als Unterstützerin der Trump-Kampagne zeigt, ist eines dieser Beispiele, wo es zu starker Verunsicherung gekommen ist.
Die Aufdeckung von Falschinformationen ist bereits im Gange und wird durch Initiativen wie die International Fact-Checking Signatories sowie Faktenchecker wie DW, dpa und BR aktiv vorangetrieben. Allerdings erreichen diese Faktenchecks die LeserInnen oft zu spät oder gar nicht, insbesondere da sich viele junge Menschen hauptsächlich über soziale Medien informieren. Hier könnte der Digital Services Act (DSA), der die Regulierung von Social-Media-Plattformen wie TikTok, Facebook und X vorsieht, eine Schlüsselrolle spielen. Der DSA reguliert unter anderem die Content-Moderation in sozialen Medien. Das bedeutet, dass Inhalte, die über soziale Netzwerke verbreitet werden, konsequent einer Überprüfung auf Fakten und Deepfakes unterzogen werden. Für die Content-Moderation können KI-Tools, wie sie bei uns in der Forschungsgruppe entwickelt werden, gezielt zur Erkennung von Mis- und Desinformation genutzt werden, um den Fact-Checking Prozess maßgeblich zu unterstützen und effektiver zu gestalten. Zur Erkennung von Desinformation und Deepfakes ist vor allem eine effektive Kollaboration zwischen Mensch und KI wichtig. Hier kann KI Journalisten und Content-Moderatoren gezielt unterstützen, um Desinformation schneller, umfangreicher und gezielter zu erkennen.
Sie arbeiten an dem Projekt news-polygraph. Können Sie uns näher erläutern, worum es in diesem Projekt geht? Welche Partner sind eingebunden, welche Technologien kommen zum Einsatz und wie hilft das Projekt im Kampf gegen Desinformation?
Das Projekt news-polygraph entwickelt eine Plattform, die JournalistInnen dabei unterstützt, Desinformation in Bild, Video, Audio und Text zu erkennen. Das Forschungsbündnis umfasst verschiedene Partner aus dem Medienbereich (DW und rbb), Industriepartner (Ubermetrics Technologies GmbH, delphai GmbH, Crowedee GmbH und Transfermedia GmbH) sowie Forschungseinrichtungen (Fraunhofer IDMT, Deutsches Forschungszentrum für KI und die XplaiNLP-Gruppe der TU Berlin). Gemeinsam arbeiten wir an einer Plattform, die JournalistInnen bei ihrer täglichen Arbeit hilft, Informationen unterschiedlicher Modalitäten (wie Bild, Audio und Text) zu analysieren. Die im Rahmen dieses Projekts entwickelten KI-Tools müssen dabei nicht nur robust, sondern vor allem transparent sein, damit die Modellergebnisse für die JournalistInnen klar nachvollziehbar sind.
Die Erkennung von synthetischen Texten, bzw. synthetisch generierten Sätzen mit ChatGPT oder anderen großen Sprachmodellen ist fast unmöglich, wenn man nur kleinere Textteile oder nur einzelne Sätze zur Verfügung hat. Daher konzentrieren wir uns bei der Analyse von textbasierter Desinformation hauptsächlich auf den Content und stilistische Merkmale. Für die Content-Analyse bauen wir in der XplaiNLP Gruppe eine Wissensbasis auf, die bekannte Fakten und Falschinformationen enthält. Über diese Wissensbasis können wir schnell abgleichen, ob zu überprüfende Inhalte bereits als Falschinformation identifiziert worden sind, oder wie die Faktenlage zu einer bestimmten Aussage oder einem Tatbestand ist. Zudem analysieren wir stilistische Merkmale, wie stark emotionale Inhalte und politische Verzerrungen, um zusätzliche Hinweise auf die Intention der geteilten Information zu erhalten.
Bei der Erkennung von Audio-Deepfakes werden maschinelle Lernmodelle eingesetzt, um extrahierte Audiomerkmale zu analysieren und nach Mustern und Inkonsistenzen in Bezug auf Timing, Frequenz, Prosodie und Artikulation zu suchen, die sich von der natürlichen menschlichen Sprache unterscheiden. Zum Beispiel weist die synthetische Sprache oft Unregelmäßigkeiten im Timing und im spektralen Inhalt auf (wie die Frequenzen über die Zeit verteilt sind). Modelle können die zeitliche Analyse nutzen, um auf unnatürliche Pausen oder Rhythmen zu prüfen, und die spektrale Analyse, um abnormale Frequenzmuster zu identifizieren, die in menschlicher Sprache normalerweise nicht vorkommen.
Die Deepfake-Erkennung im Bereich Bild und Video nutzt verschiedene Methoden des Maschinellen Lernens, um festzustellen, ob bestimmte Pixelbereiche oder das gesamte Bild bzw. Video synthetisch generiert oder manipuliert wurden. Es gibt verschiedene Modelle und Ansätze, wie Vision Transformers, Autoencoder oder Spektralanalyse, die spezifische Merkmale und Anomalien in den Bilddaten analysieren. Diese Ansätze helfen dabei, synthetisch generierte Inhalte oder Manipulationen zu erkennen, indem sie z.B. Unregelmäßigkeiten in Texturen, Beleuchtung oder Bewegungen identifizieren, die von generativen Modellen wie GANs erzeugt wurden.
Bei all diesen Tools spielt die Transparenz und Erklärbarkeit eine zentrale Rolle, damit Journalisten diese Tools auch wirklich nachvollziehen und nutzen können. Daher arbeiten wir in der XplaiNLP Gruppe verstärkt an effektiven Erklärungen, um den Einsatz der KI-Tools verlässlich zu ermöglichen.
Neben news-polygraph arbeiten Sie auch am Projekt VeraXtract. Welche Ziele verfolgt dieses Projekt und wie unterscheidet es sich von news-polygraph? Was sind die wichtigsten Erkenntnisse, die Sie bisher daraus gewonnen haben?
Das Projekt VeraXtract entstand aus Fragestellungen, die sich vor allem aus der Forschungsarbeit im news-polygraph Projekt ergeben haben. Der Fokus liegt darauf, Desinformationsnarrative besser zu verstehen. Ziel ist es, eine umfassende Übersicht über Mis- und Desinformationen zu schaffen, um insbesondere BürgerInnen den Zugang zu diesen Informationen zu erleichtern.
In unserer bisherigen Forschung haben wir festgestellt, dass viele Falschaussagen und Desinformation oft wiederholt und in leicht abgewandelter Form in verschiedenen Ländern verbreitet werden. Indem wir diese Falschaussagen und Desinformationen bündeln und als Narrative zusammenfassen, ermöglichen wir einen schnellen Überblick über die aktuell kursierenden Desinformationen – sowohl regional als auch im internationalen Vergleich. Dabei arbeiten wir nicht nur mit Textdaten, sondern entwickeln eine kombinierte Analyse, die auch Audio-, Bild- und Videodaten integriert.
Langfristig sollen die gewonnenen Erkenntnisse und Erfahrungen aus VeraXtract dazu beitragen, die Widerstandsfähigkeit der Gesellschaft gegenüber Desinformation zu stärken. Die entwickelten Lösungen bieten zudem Potenzial für den Einsatz in der Content-Moderation auf sozialen Medien und könnten künftig als Basis für neue Standards im Kampf gegen Desinformation dienen.
Das Projekt VeraXtract unterscheidet sich von der Ausrichtung und Nutzung der KI-Tools. In news-polygraph haben wir das Ziel, Journalisten mit KI-Tools zu unterstützen, die für ihre Recherche und Tiefe der Analyse ganz andere Anforderungen haben. In VeraXtract arbeiten wir an einer Aggregation von Desinformation in Form von Narrativen, die eine Übersicht schafft und weniger in die Tiefe geht. Diese Übersicht ist notwendig, um besser über Desinformation aufklären zu können und auch schneller Aussagen bestehenden Desinformationsnarrativen zuordnen zu können. Die Ergebnisse des VeraXtract Projekts werden in eine Plattform integriert, die der Öffentlichkeit zur Verfügung steht.
News Polygraph und VeraXtract scheinen auf den ersten Blick ähnliche Ziele zu verfolgen. Wie greifen diese beiden Projekte ineinander? Gibt es konkrete Synergien, die durch ihre Zusammenarbeit entstehen?
news-polygraph und VeraXtract verfolgen zwar auf den ersten Blick ähnliche Ziele, konzentrieren sich jedoch auf unterschiedliche Aspekte der Desinformationserkennung. news-polygraph legt den Schwerpunkt auf die technologische Unterstützung für JournalistInnen, um Desinformation in verschiedenen Medienformaten (Text, Bild, Video, Audio) zu erkennen. Es bietet Werkzeuge zur Analyse von Inhalten und gibt JournalistInnen die Möglichkeit, Desinformation in Echtzeit zu identifizieren.VeraXtract hingegen fokussiert sich auf das Verständnis von Desinformationsnarrativen. Hier steht die Analyse wiederkehrender Falschaussagen im Vordergrund, um Muster und Narrative, die sich über Ländergrenzen hinweg verbreiten, zu identifizieren und übersichtlich darzustellen.Die beiden Projekte greifen ineinander, indem VeraXtract die Narrative und wiederkehrenden Falschaussagen auf einer tieferen, kontextuellen Ebene erfasst, während news-polygraph die konkreten Werkzeuge zur praktischen Erkennung und Moderation dieser Desinformation für JournalistInnen bietet. Die Synergien entstehen vor allem durch die Verknüpfung von Echtzeitanalyse (news-polygraph) und langfristiger Narrativforschung (VeraXtract), die gemeinsam eine umfassendere Bekämpfung von Desinformation ermöglichen. JournalistInnen und interessierte BürgerInnen profitieren so von einer Kombination aus operativen Tools und strategischer Übersicht.
Laut einer aktuellen Studie von Interface sind nur 22 Prozent aller KI-Fachkräfte weltweit weiblich. VeraXtract wird durch den BMBF-Förderschwerpunkt "KI Nachwuchsgruppen unter Leitung von Frauen" unterstützt. Welche Ziele verfolgen Sie mit Ihrem Projekt in Bezug auf die Gender-Imbalance im Feld KI?
Generell versuche ich zunächst die Eignung von BewerberInnen für bestimmte Stellen und Aufgaben im Blick zu haben. Bei gleicher Eignung versuche ich, weibliche KandidatInnen zu fördern. Wir haben erst gerade zwei neue Senior-Researcherinnen eingestellt, die auch jeweils mehr Verantwortung und die Teamleitung für das NLP- und XAI Team innerhalb der Gruppe übernehmen. Die Eignung der BewerberInnen steht hierbei aber klar im Vordergrund.
Berlin gilt als eines der führenden Zentren für KI-Forschung in Europa. Wie erleben Sie die Arbeit und Zusammenarbeit zwischen Forschungseinrichtungen in Berlin, insbesondere im Hinblick auf erklärbare KI (xAI)?
Es gibt einige Zusammenarbeit zwischen den verschiedenen Forschungseinrichtungen wie die TU Berlin, HU Berlin, FU Berlin, sowie wichtige Forschungsinstitute wie dem Deutsche Forschungszentrum für KI und verschiedenen Fraunhofer-Institute. Diese Institutionen arbeiten oft interdisziplinär zusammen, was den Austausch von Wissen und Ressourcen erleichtert.
Im Bereich der erklärbaren KI gibt es eine Vernetzung zwischen verschiedenen Akteuren. Hier arbeiten wir in der XplaiNLP-Forschungsgruppe auch mit dem Fraunhofer HHI und BIFOLD im Rahmen des FakeXplain-Projekts zusammen und profitieren von der Zusammenarbeit mit Partnern aus anderen Einrichtungen.
Manchmal verliert sich jedoch der Fokus bestimmter Themen und es fehlt ein Organ oder eine Organisation, die verschiedene Akteure zu bestimmten Themen im Blick behält und auch immer wieder zusammenbringt. Innerhalb der Wissenschaft vernetzen uns regelmäßig auch Konferenzen, wo wir unsere Forschungsarbeit vorstellen, doch kommen wir nicht so oft in Berührung mit Organisationen und Unternehmen, wenn wir nicht aktiv solche Kollaborationen forcieren. Natürlich versuchen wir als WissenschaftlerInnen, aktiv an unterschiedlichen Veranstaltungsformen regelmäßig teilzunehmen und sie auch zu initiieren. Ein gutes Beispiel ist das EU DisinfoLab, was mindestens einmal im Jahr unterschiedlichste Akteure rund um Desinformationerkennung und - Bekämpfung zusammenbringt (EU DisinfoDay).
Zu guter Letzt: Wie stellen Sie sich die Informationsvermittlung und die Überprüfung auf ihre Validität im Jahr 2030 idealerweise vor? Welche Rolle wird KI dabei spielen?
Im Jahr 2030 stelle ich mir die Informationsvermittlung und -validierung als einen nahtlosen, automatisierten und hochgradig personalisierten Prozess vor, in dem KI eine zentrale Rolle spielt. Idealerweise wird KI nicht nur dabei helfen, Informationen schneller zu verbreiten, sondern auch unmittelbar deren Validität zu überprüfen. Plattformen, auf denen Nachrichten und Inhalte geteilt werden, könnten mit intelligenten KI-basierten Systemen ausgestattet sein, die in Echtzeit Faktenchecks durchführen und Desinformation automatisch erkennen, markieren oder kontextualisieren. Ein solcher Ansatz würde es ermöglichen, dass korrekte Informationen direkt beim Konsumieren hervorgehoben und verlässliche Quellen automatisch priorisiert werden. Erklärbare KI wird eine Schlüsselrolle spielen, da es nicht nur darum geht, Desinformation zu erkennen, sondern den NutzerInnen auch verständlich zu machen, warum bestimmte Inhalte als irreführend oder falsch eingestuft werden. Das schafft Vertrauen in die Technologie und ermöglicht es den Menschen, fundierte Entscheidungen zu treffen. Zusätzlich könnten KI-gesteuerte Assistenzsysteme individuell auf den Wissensstand und die Bedürfnisse der NutzerInnen eingehen, indem sie Informationen in angepasster Form präsentieren und gleichzeitig Fakten und Narrative auf Glaubwürdigkeit überprüfen. Diese Systeme könnten auch über Modalitäten hinweg arbeiten, also nicht nur Text, sondern auch Bilder, Videos und Audiodateien auf Manipulationen prüfen. Insgesamt wird KI 2030 eine integrative Rolle in der Informationslandschaft spielen: Sie wird nicht nur die Verbreitung von Desinformation reduzieren, sondern auch für verlässliche und transparente Informationen sorgen, indem sie als ständiger Faktenprüfer fungiert, der Desinformation frühzeitig erkennt und die Öffentlichkeit über deren Gefahren aufklärt.
Vielen Dank für das Gespräch.