41 Prozent der deutschen Unternehmen nutzen KI, aber nur 21 Prozent haben eine Strategie. Und nur 37 Prozent klare Verantwortlichkeiten. Ab 2. August 2026 setzt das EU AI Office den AI Act aktiv durch. Wer bis dahin keine Governance stehen hat, riskiert Bußgelder, Shadow-AI-Schäden und den Verlust der Kontrolle. Der Beitrag zeigt das schlanke Rollenmodell für den Mittelstand und den 4-Wochen-Plan zum Aufbau.
Die Zahlen der Bitkom-Studie 2026 sind eindeutig: 41 Prozent der deutschen Unternehmen setzen KI produktiv ein, weitere 48 Prozent planen den Einsatz. Doch nur 21 Prozent haben dafür eine formale KI-Strategie. Die Implementation Gap ist längst da. Genutzt wird viel, gesteuert wird wenig.
Noch dramatischer wird das Bild bei den Verantwortlichkeiten. Die KPMG-Studie „Generative KI in der deutschen Wirtschaft 2026" zeigt: Nur 37 Prozent der Unternehmen haben klar definierte Verantwortlichkeiten und Governance-Strukturen für generative KI. Weniger als 10 Prozent haben ein vollständiges Governance-Modell implementiert. Deloitte kommt in seiner 2026er-Analyse zu einem ähnlichen Ergebnis: Von den Unternehmen, die agentische KI in den nächsten zwei Jahren einführen wollen, verfügen nur 21 Prozent heute über ein reifes Governance-Modell für KI-Agenten.
Was das kostet, hat McKinsey 2026 messbar gemacht: Organisationen mit klar zugewiesenen Governance-Rollen erreichen einen Maturity-Score von 2,6, während Organisationen ohne klare Verantwortlichkeit bei 1,8 stehen bleiben. Übersetzt: weniger Governance-Vorfälle, schnellere KI-Deployments, geringeres regulatorisches Risiko.
Die Konsequenzen fehlender Governance sind nicht theoretisch. Sie treffen Unternehmen 2026 messbar auf drei Ebenen.
Shadow AI: 66 Prozent der Mitarbeitenden nutzen KI ohne Freigabe. IBM und weitere Analysten dokumentieren für 2026 einen Anteil von 66 Prozent aller Büromitarbeitenden in großen Unternehmen, die KI-Tools ohne offizielle Freigabe verwenden. Im Mittelstand (100 bis 999 Beschäftigte) liegt die Quote bei 61 Prozent. Besonders brisant: 27 Prozent aller Enterprise-Mitarbeitenden haben bereits vertrauliche Unternehmensdaten in öffentliche KI-Tools eingegeben. Kundenlisten, Finanzzahlen, interne Strategiepapiere. Der IBM „Cost of a Data Breach Report 2026" beziffert den Zusatzschaden pro Vorfall bei Shadow-AI-Beteiligung auf 670.000 US-Dollar.
EU AI Act: Ab 2. August 2026 aktive Durchsetzung. Ab diesem Stichtag greift die aktive Durchsetzung durch das EU AI Office. Bußgelder bei Verstößen gegen Hochrisiko-Regeln reichen bis zu 15 Millionen Euro oder 3 Prozent des weltweiten Jahresumsatzes. Verboten sind unter anderem KI-Systeme zur biometrischen Massenüberwachung, zum Social Scoring und zur Emotionserkennung am Arbeitsplatz. Hochrisiko-Systeme (Personalauswahl, Kreditvergabe, Sicherheitskomponenten) unterliegen umfangreichen Dokumentations- und Aufsichtspflichten. Wer heute keine Registrierung seiner KI-Systeme hat, weiß nicht einmal, wo sein Risiko liegt.
Governance-Rollen ohne Mandat. Eine Studie von NEXperts (Handelsblatt-Verlag) zeigt: Viele Mittelständler haben KI-Manager oder KI-Beauftragte benannt, aber ihnen fehlen die formalen Entscheidungsrechte. Sie sollen strategisch, operativ und koordinierend wirken, haben aber weder Budget noch Freigabemandat. Cancom und ServiceNow berichten in ihrer Mittelstandsstudie 2026 sogar, dass unklare Governance die Skalierung von KI-Projekten aktiv ausbremst.
Bevor wir zum Rollenmodell kommen: Räumen wir mit drei Missverständnissen auf, die den Mittelstand am Aufbau hindern.
KI-Governance ist kein 200-Seiten-Framework. Wer Governance mit Compliance-Bürokratie verwechselt, verpasst das Ziel. Ein schlankes Rollenmodell mit klaren Freigabeprozessen und einem KI-Register schlägt jedes ungelesene Regelwerk. Im Mittelstand reichen typischerweise 15 bis 30 Seiten Policy plus eine RACI-Matrix.
KI-Governance braucht keinen Chief AI Officer. Für 90 Prozent der Mittelständler ist eine eigene C-Level-Rolle für KI überzogen. Was gebraucht wird, sind klare Zuständigkeiten in vorhandenen Rollen. Wer heute Datenschutz verantwortet, verantwortet morgen auch KI-Datenschutz. Wer heute IT leitet, verantwortet die technische KI-Sicherheit.
KI-Governance ist nicht dasselbe wie KI-Monitoring. Monitoring erkennt technische Fehler in laufenden Systemen. Governance beantwortet die Frage: Wer entscheidet über den Einsatz? Wer trägt die Verantwortung? Wer stoppt ein System, wenn es entgleist? Monitoring ist das Werkzeug. Governance ist die Hand, die es führt.
In der Beratungspraxis hat sich für den Mittelstand ein Modell mit drei Grundrollen bewährt. Es ist skalierbar von 100 bis 2.000 Mitarbeitenden und lässt sich in den meisten Fällen aus vorhandenen Rollen besetzen.
1. Der Sponsor
Verankert auf Ebene der Geschäftsführung oder Bereichsleitung. Trägt das Mandat und das Budget. Definiert die strategische Richtung: Welche Geschäftsziele soll KI unterstützen? Welche Risiken sind akzeptabel? Der Sponsor ist keine operative Rolle, aber ohne Sponsor bleibt jede KI-Governance zahnlos. Zeitaufwand: 1 bis 2 Stunden pro Monat.
2. Das KI-Komitee
Drei bis fünf Personen aus IT, Datenschutz und relevantem Fachbereich. Bei Bedarf erweitert um Compliance, CISO und den Betriebsrat. Tagt monatlich, entscheidet über neue Use Cases, klassifiziert Risiken, bewilligt Piloten und Produktivsetzungen. Das Komitee ist das operative Herz der Governance. Zeitaufwand: 2 bis 4 Stunden pro Monat je Mitglied.
3. Der Use-Case-Owner
Pro Use Case gibt es genau eine fachliche verantwortliche Person. Der Use-Case-Owner formuliert den Business-Case, prüft die Datenlage, verantwortet die Ergebnisqualität und meldet Vorfälle. In den meisten Mittelständlern ist das die Fachbereichsleitung oder eine designierte Projektleitung. Zeitaufwand: variabel, typischerweise 4 bis 8 Stunden pro Monat je Use Case.
Optional: Der KI-Beauftragte. Ab etwa 500 Mitarbeitenden lohnt eine zusätzliche Rolle mit 20 bis 50 Prozent Kapazität, die das Komitee vorbereitet, das KI-Register pflegt und die Schnittstelle zur Compliance-Abteilung bildet. In kleineren Häusern übernimmt diese Aufgabe der Datenschutzbeauftragte mit KI-Erweiterung.
Der zentrale Punkt: Alle Rollen brauchen ein schriftlich fixiertes Mandat. Wer entscheidet was, in welchem Rahmen? Wer darf einen Use Case stoppen? Wer eskaliert an wen? Ohne diese Klärung bleibt jedes noch so gut gedachte Modell wirkungslos.
Das Rollenmodell allein reicht nicht. Es braucht einen Umsetzungsplan, der neben dem Tagesgeschäft läuft. Der folgende Plan funktioniert in Unternehmen mit 100 bis 1.500 Mitarbeitenden.
Woche 1: KI-Register anlegen und Bestand aufnehmen.
Erfassen Sie jede aktuell im Unternehmen eingesetzte KI-Anwendung. ChatGPT, Microsoft 365 Copilot, Deepl, GitHub Copilot, Chatbots, spezialisierte Fachanwendungen. Pro Eintrag: Zweck, Datenbasis, betroffene Personengruppen, Anbieter, Verantwortlicher. Ergebnis nach Woche 1: eine strukturierte Excel- oder SharePoint-Liste mit typischerweise 15 bis 40 Einträgen. Sie werden überrascht sein, wie viel schon läuft.
Woche 2: Rollen benennen und schriftlich mandatieren.
Wer ist Sponsor? Wer sitzt im Komitee? Wer bekommt welches Entscheidungsmandat? Ein kurzes Mandat (eine DIN-A4-Seite je Rolle) reicht aus. Wichtig ist die Unterschrift des Sponsors darauf. Parallel: Ersten Komitee-Termin für Woche 3 einladen. Bereiten Sie die drei bis fünf riskantesten Einträge aus dem Register als erste Fälle vor.
Woche 3: Freigabeprozess pilotieren.
Das Komitee tagt zum ersten Mal. Auf der Agenda: die drei kritischsten Use Cases aus dem Register. Werden sie klassifiziert (nach EU AI Act: minimal, begrenzt, hoch, verboten)? Sind die Datenschutzfragen geklärt? Gibt es einen Use-Case-Owner? Ergebnis: erste dokumentierte Freigabeentscheidungen. Nicht perfekt, aber belastbar.
Woche 4: Prozess dokumentieren und ausrollen.
Halten Sie fest, wie ein neuer Use Case ab jetzt beantragt, geprüft und freigegeben wird. Ein Formular, ein E-Mail-Verteiler, ein regelmäßiger Termin. Kommunizieren Sie den Prozess ins Unternehmen. Ab jetzt gilt: Jede neue KI-Anwendung läuft über das Komitee. Bestehende Anwendungen werden über die nächsten zwei Quartale nachträglich klassifiziert.
Nach vier Wochen haben Sie: ein KI-Register, ein besetztes Komitee, einen dokumentierten Freigabeprozess und die ersten Klassifizierungen. Das ist keine perfekte Governance. Aber es ist deutlich mehr, als 63 Prozent Ihrer Wettbewerber haben.
1. KI-Beauftragter ohne Entscheidungsrecht. Der häufigste Fehler laut NEXperts-Studie. Ein KI-Beauftragter ohne formales Mandat wird zum Frühstücksdirektor. Sponsor-Unterschrift auf dem Mandat ist keine Formalie, sie ist die Voraussetzung für Wirksamkeit.
2. Komitee ohne Datenschutz. KI-Systeme verarbeiten in fast allen Fällen personenbezogene Daten. Ein Komitee ohne Datenschutzverantwortlichen entscheidet regelmäßig ohne die kritische Perspektive. Ergebnis: Freigaben, die im Audit fallen.
3. Kein KI-Register. Wer nicht weiß, was im Einsatz ist, kann nichts steuern. Das Register ist keine Fleißarbeit, sondern die Voraussetzung für jede Priorisierung. Ohne Register keine Risikoklassifizierung, ohne Klassifizierung keine EU-AI-Act-Konformität.
4. Alles zentral entscheiden. Wenn jeder Prompt-Test durchs Komitee muss, bremst Governance den Fortschritt. Der Freigabeprozess sollte klare Kriterien haben, wann eine Anwendung genehmigungspflichtig ist. Standardnutzung von Copilot mit freigegebenen Daten braucht keinen Einzelfallentscheid.
5. Governance ohne Monitoring. Wer Freigaben erteilt, aber die produktiven Systeme nicht überwacht, verliert die Kontrolle nach dem Go-Live. Governance-Freigabe und laufendes Monitoring gehören zusammen. Welche Fragen technisches KI-Monitoring in der Praxis beantwortet und wie wir es gemeinsam mit Kunden aufsetzen, zeigt unsere Themenseite zum KI-Monitoring.
prodot begleitet mittelständische Unternehmen seit über 20 Jahren bei Digitalisierung und Compliance. Für den Aufbau von KI-Governance bringen wir drei Elemente mit, die Ihren 4-Wochen-Plan tragen.
Governance-Workshop: In zwei Tagen erarbeiten wir mit Ihnen das KI-Register, das passgenaue Rollenmodell und den Freigabeprozess. Sie verlassen den Workshop mit unterschriftsreifen Mandaten und dem ersten Register-Draft.
Monitoring als Governance-Werkzeug: Gemeinsam mit Ihnen bauen wir ein passendes KI-Monitoring auf. Es liefert die technische Basis für Überwachung, Audit-Trails und die mindestens sechsmonatige Logging-Pflicht bei Hochrisiko-Systemen. Governance-Entscheidung und technische Umsetzung greifen so ineinander.
Anschluss an die KI-Strategie: Wer Governance ohne Strategie aufbaut, dokumentiert Wildwuchs. In einem gemeinsamen KI-Workshop verbinden wir mit Ihnen Strategie, Use-Case-Auswahl und Governance zu einem konsistenten Vorgehen.
Die Zahlen sind eindeutig. 41 Prozent nutzen KI, 21 Prozent steuern sie mit einer Strategie, 37 Prozent haben klare Verantwortlichkeiten. Ab 2. August 2026 werden die Karten neu gemischt. Wer bis dahin ein Register, ein Komitee und einen Freigabeprozess hat, ist im gelben Bereich. Wer noch bei Null steht, spielt Roulette.
Der Mittelstand hat einen strukturellen Vorteil: kurze Wege, überschaubare Rollen, direkte Kommunikation. Was in Konzernen ein 18-Monats-Projekt ist, kann im Mittelstand in vier Wochen stehen. Vorausgesetzt, das Rollenmodell ist schlank, das Mandat ist klar, und Governance wird nicht mit Compliance-Bürokratie verwechselt.
Die gute Nachricht: Wer heute anfängt, ist rechtzeitig. Wer im vierten Quartal 2026 anfängt, hat schon verloren.
Sie wollen KI-Governance aufbauen, wissen aber nicht, wo anfangen? Sprechen Sie mit uns. In einem kostenfreien Erstgespräch klären wir Ihre Ausgangslage und skizzieren den passenden Fahrplan für Ihr Unternehmen.
1 Min. Lesezeit
Lisa Lokotsch : 25.08.2026
KI-Automatisierung ist 2026 der entscheidende Hebel, um Prozesse nicht nur schneller, sondern grundlegend anders zu gestalten. Während klassische...
1 Min. Lesezeit
Lisa Lokotsch : 26.06.2026
95 Prozent aller generativen KI-Projekte liefern keinen messbaren ROI. Im deutschen Mittelstand schaffen es nur wenige vom Pilot in die...
1 Min. Lesezeit
Lisa Lokotsch : 6.08.2026
Mitarbeitende verbringen laut McKinsey bis zu 1,8 Stunden pro Arbeitstag mit Informationssuche. Der Griff zu ChatGPT liegt nah. Nur landen dabei...
Lisa Lokotsch