Künstliche Intelligenz hält zunehmend Einzug in staatliche und gesellschaftlich hochsensible Bereiche. Gerade dort, wo Vertrauen, Nachvollziehbarkeit und Rechtssicherheit zentrale Rollen spielen, entscheidet sich, ob KI ihr Potenzial wirklich entfalten kann. Die Bundesdruckerei GmbH arbeitet seit Jahren an genau dieser Schnittstelle: zwischen technologischer Innovation, öffentlichem Auftrag und verantwortungsvollem Einsatz von KI.
Mit dem KI-Kompetenz-Center der Bundesverwaltung (KI-KC) bringt die Bundesdruckerei nutzungszentrierte KI-Entwicklung in die Praxis und erprobt gemeinsam mit der öffentlichen Verwaltung konkrete Anwendungen, von Sprachmodellen über Bilderkennung bis hin zu Anomalie-Detektion. Camilla Dalerci ist Senior Innovation Developer Data Science und stellvertretende Projektleiterin im KI-Kompetenz-Center. Im Gespräch gibt sie Einblicke in die Arbeit an vertrauenswürdiger KI, die besonderen Anforderungen der Verwaltung und die Frage, wie technologische Exzellenz und gesellschaftliche Verantwortung zusammenfinden können.
Als Launchpartner des #ai_berlin hubs ist die Bundesdruckerei zudem Teil des Berliner KI-Ökosystems und bringt ihre Erfahrung in den Austausch zwischen Verwaltung, Wirtschaft und Forschung ein.
Frau Dalerci, wenn man auf das KI-Kompetenz-Center der Bundesverwaltung blickt, fällt der stark nutzerzentrierte Ansatz auf. Was bedeutet es in der Praxis, KI nicht primär technologisch, sondern vom konkreten Bedarf der Verwaltung aus zu denken?
Im KI-KC betrachten wir zuerst konkrete Arbeitsrealitäten in der Verwaltung, wie etwa hohe Dokumentationslast, komplexe Rechtsgrundlagen, Zeitdruck oder begrenzte IT-Ressourcen, und den Umgang der Verwaltungsmitarbeitenden damit. Daraus leiten wir ab, bei welchen Aufgaben und mit welchem Automatisierungsgrad KI tatsächlich Entlastung bringen oder die Qualität verbessern kann. Im Mittelpunkt steht dabei immer: Wie können wir KI intelligent nutzen, um Verwaltungsaufgaben für die Menschen einfacher, effizienter und nutzungsfreundlicher zu gestalten?
Dieser Ansatz verändert auch die Entwicklung selbst: Wir arbeiten iterativ, gemeinsam mit den späteren Nutzenden, testen früh in realen Szenarien und berücksichtigen verwaltungsrelevante Aspekte wie Transparenz, Erklärbarkeit und Sicherheit von Anfang an. So entstehen in enger Zusammenarbeit mit der Verwaltung KI-Lösungen, die anschlussfähig, vertrauenswürdig und alltagstauglich sind.
Unser Ziel ist es, die KI-Zukunft gemeinsam zu gestalten und sicherzustellen, dass Behörden neue Technologien nicht nur ausprobieren, sondern auch nachhaltig einsetzen können.
Sie arbeiten an KI-Anwendungen für besonders sensible Einsatzfelder. Welche zusätzlichen Anforderungen ergeben sich dort an Daten, Modelle und Entwicklungsprozesse, die in anderen Kontexten oft weniger sichtbar sind?
Sensible Einsatzfelder bedeuten sensible Entscheidungen, daher sind die Anforderungen restriktiv. Der Anspruch an die Verlässlichkeit des KI-Outputs ist bspw. aufgrund von Rechtsverbindlichkeiten sehr hoch. Neben der technischen Leistungsfähigkeit kommt es hier u.a. auf die Genauigkeit der Ergebnisse und einen hohen Grad an menschlicher Aufsicht an. KI-Systeme müssen in unserem Umfeld so gestaltet sein, dass den rechtlichen, ethischen und organisatorischen Anforderungen der Verwaltung konstant gerecht werden.
Auf Ebene der Daten und Modelle bedeutet das eine hohe Transparenz bezüglich Herkunft, Qualität und Einsatzgrenzen. Modelle müssen nachvollziehbar, robust und kontrollierbar sein. Deswegen haben wir auch die Initiative MÖVE, „Sprachmodelle für die öffentliche Verwaltung evaluieren“, gestartet.
Das Ziel ist, Risiken wie Verzerrungen oder Halluzinationen frühzeitig zu erkennen und systematisch zu reduzieren. Dadurch verändern sich auch die Entwicklungsprozesse. Sicherheit, KI-Governance und Compliance sind kein nachgelagerter Prüfpunkt, sondern integraler Bestandteil der Entwicklung.
Das erfordert ein tiefes Verständnis für die Verwaltung als Anwendungsfallkontext sowie auch eine kontinuierliche Evaluation. Dazu gehört auch, dass der Mensch stets die Möglichkeit haben soll, Entscheidungen zu überprüfen oder zu übersteuern.
Vertrauenswürdige KI ist ein Begriff, der häufig verwendet wird, aber sehr unterschiedlich ausgelegt werden kann. Woran machen Sie persönlich fest, ob ein KI-System diesem Anspruch wirklich gerecht wird?
Aus meiner Sicht zeigt sich Vertrauenswürdigkeit bei KI nicht an einzelnen Merkmalen, sondern daran, wie gut ein System in der Praxis eingeordnet und verantwortet werden kann. Ein KI-System ist dann vertrauenswürdig, wenn eindeutig ist, wofür es eingesetzt werden darf, wo seine Grenzen liegen und wer die Verantwortung für die Nutzung trägt.
Konkret bedeutet dies, dass die Funktionsweise nachvollziehbar sein muss, Entscheidungen oder Empfehlungen erklärbar sein müssen und Risiken wie Fehlverhalten oder Verzerrungen aktiv adressiert werden.
Zudem ist entscheidend, ob Vertrauen institutionell abgesichert ist, beispielsweise durch klare Governance-Strukturen, regelmäßige Evaluationen und die Möglichkeit menschlicher Kontrolle. Vertrauenswürdige KI entsteht nicht durch ein Label, sondern durch kontinuierliche Prüfung, Offenheit und die Bereitschaft, Systeme kritisch weiterzuentwickeln. Deshalb habe ich mich beispielsweise auch an dem „Umsetzungsleitfaden zur KI-Verordnung“ als Teil des Bitkom-Arbeitskreises „Artificial Intelligence“ beteiligt.
Im KI-Kompetenz-Center entstehen bewusst Prototypen und keine fertigen Produkte. Warum ist dieser explorative Ansatz gerade für die öffentliche Verwaltung so wichtig und wo liegt aus Ihrer Sicht sein größter Mehrwert?
Wir arbeiten an Lösungen, die es bisher nicht gab. Der bewusste Fokus auf Prototypen ermöglicht es der öffentlichen Verwaltung KI-Technologien risikominimiert zu erproben, ohne sich frühzeitig auf Systeme oder Anbieter festzulegen. Gerade in einem stark regulierten Umfeld ist es im ersten Schritt wichtig, zu verstehen, ob und unter welchen Bedingungen KI sinnvoll eingesetzt werden kann, bevor sie in den Regelbetrieb überführt wird.
Deshalb schreibt auch die KI-Verordnung vor, dass bis August 2026 in jedem EU-Land KI-Reallabore eingerichtet werden, also Testräume, in denen innovative Technologien unter realen Bedingungen erprobt werden.
Der explorative Ansatz schafft außerdem Raum für Lernen und den Aufbau von KI-Kompetenzen. Data Scientisten, Fachexperten und Fachexpertinnen sowie Endnutzende können gemeinsam Annahmen überprüfen, Anforderungen schärfen und Gelingensbedingungen identifizieren. Aus meiner Sicht liegt der größte Mehrwert darin, Handlungsfähigkeit und KI-Expertise für die Zukunft aufzubauen.
In dem Open-Access-Fachbuch „Künstliche Intelligenz und Wir“, das im Herbst erschienen ist, beleuchten Expertinnen und Experten der Bundesdruckerei das Thema KI aus technologischer, ethischer und gesellschaftlicher Perspektive. Warum braucht es aus Ihrer Sicht genau diese Vielschichtigkeit, wenn wir über KI sprechen und entscheiden?
Das Fachbuch macht deutlich, dass technologische Innovation nur dann nachhaltig ist, wenn sie von Anfang an in einen ethischen und gesellschaftlichen Rahmen eingebettet wird. Mit generativer KI stehen wir vor Technologien, die eine besonders natürliche Schnittstelle zur menschlichen Kommunikation darstellen und diese zugleich erweitern. Gerade deshalb ist ein human-zentrierter Ansatz entscheidend: KI muss sich an menschlichen Bedürfnissen, Werten und Verantwortlichkeiten orientieren.
Unterschiedliche Perspektiven helfen dabei, Risiken früh zu erkennen, Zielkonflikte sichtbar zu machen und verantwortungsvolle Leitplanken zu setzen. Diese Einordnung ist auch für unsere tägliche Arbeit zentral. Dr. Kim Nguyen und Carmen Dencker bringen als ausgewiesener Fachexperte und Fachexpertin genau diese übergeordnete Perspektive ein, indem sie technologische, ethische und gesellschaftliche Fragestellungen zusammenführen und damit wichtige Orientierung für die Entwicklung verantwortungsvoller KI-Lösungen bei der Bundesdruckerei geben.
Berlin versteht sich zunehmend als Standort für angewandte und verantwortungsvolle KI. Welche Rolle spielt für Ihre Arbeit der Austausch im regionalen Ökosystem, etwa über Initiativen wie den #ai_berlin hub, und was kann Verwaltung von diesen Netzwerken lernen?
Der fachliche Austausch im regionalen Ökosystem spielt für unsere Arbeit eine zentrale Rolle. Gerade in Berlin treffen Verwaltung, Forschung, Zivilgesellschaft und Start-ups auf engem Raum aufeinander. Die Vernetzung hilft uns, Erfahrungen auszutauschen und frühzeitig zu erkennen, welche Ideen und Akteure zukünftig relevant werden könnten.
Initiativen wie der #ai_berlin hub schaffen niedrigschwellige Räume für genau diesen Austausch und Synergieeffekte.
Als KI-KC wollen wir interdisziplinäres Denken und Kooperation fördern. Genau diese Haltung ist entscheidend, um KI nicht nur effizient, sondern auch nachhaltig und gemeinwohlorientiert zu denken.
Die Bundesdruckerei gibt mit Formaten wie „Women in AI“ Expertinnen Raum und Sichtbarkeit. Welche Erfahrungen haben Sie gemacht, wenn unterschiedliche Perspektiven und Hintergründe in KI-Teams zusammenkommen und wie wirkt sich das auf die Qualität von Lösungen aus?
KI-Entwicklung ist so vielschichtig, dass es verschiedene Perspektiven und Hintergründe braucht. Durch Vielfaltfalt in KI-Teams, verändert sich vor allem die Qualität der Fragen, die gestellt werden. Meiner Erfahrung nach werden Annahmen schneller hinterfragt und Problemstellungen breiter gedacht.
Formate wie „Women in AI” tragen dazu bei, eine Facette dieser Vielfalt sichtbar zu machen und gezielt zu stärken. Das wirkt sich unmittelbar auf die Arbeit aus: Lösungen werden robuster gedacht und besser an reale Nutzungskontexte angepasst.
Wir beteiligen uns außerdem bewusst an Formaten, wie etwa in Zusammenarbeit mit Fraunhofer IAO und Women in AI & Robotics, um Perspektiven aus der Praxis einzubringen und den Austausch zu Diversität und verantwortungsvoller KI aktiv mitzugestalten. Es gibt aber noch Ausbaupotenzial. Laut letzter Studien sind derzeit nur 22 Prozent der KI-Fachkräfte Frauen. Bei uns im Team sind es schon 50 Prozent.
Vielen Dank für das Gespräch.
