KI-Compliance für den
Mittelstand
DSGVO und EU AI Act gelten parallel. Dieser Leitfaden bündelt alles, was ihr wirklich braucht — von der Anbieter-Wahl über die Transparenzpflichten, die seit August 2026 gelten, bis zu den Hochrisiko-Pflichten, die der Digital Omnibus auf Dezember 2027 verschoben hat. Jede Antwort mit Paragraphen, Preisen und konkreten Schritten.
Beim Abspielen lädt YouTube (Google) das Video. Dabei werden Ihre IP-Adresse und Geräteinformationen an Google übertragen. Details ·
Transkript anzeigen
Am 2. August 2026 ist eine Frist abgelaufen, von der die meisten Betriebe nur die Überschrift kennen. Seitdem höre ich immer dieselben zwei Sätze. Bei uns ist nichts Hochrisiko, uns betrifft das nicht. Oder: Hochrisiko ist verschoben, wir haben Zeit. Beide sind halb richtig — und die falsche Hälfte ist die teure. Was der 2. August gebracht hat, steht in Artikel 50 der KI-Verordnung: die Transparenzpflichten. Sie gelten nicht nur für Hochrisiko-Systeme, sondern für jeden, der KI einsetzt. Ein Chatbot muss sagen, dass er eine Maschine ist. KI-erzeugte Bilder, Ton und Texte müssen als solche erkennbar sein. Und Deepfakes müssen offengelegt werden. So sieht das im Alltag aus: das Bild hier ist von uns, mit KI erzeugt — und deshalb steht es dran. Verschoben wurde etwas anderes. Im Juli ist der Digital Omnibus im Amtsblatt erschienen. Sie schiebt die Hochrisiko-Pflichten nach hinten, auf Dezember 2027. Das ist die Meldung, die hängen geblieben ist. Nur: die Transparenzpflichten sind nicht mitverschoben worden. Wer aus der Schlagzeile mitnimmt, es sei alles vertagt, lässt genau die Pflicht liegen, die ihn wirklich betrifft. Es gibt noch eine, die länger läuft und die fast jeder übersieht. Artikel 4 verlangt, dass Ihre Beschäftigten ausreichende KI-Kompetenz haben. Anwendbar ist er seit Februar 2025 — das läuft seit über anderthalb Jahren. Dort steht nicht, dass Sie eine schriftliche Richtlinie brauchen. Aber wenn jemand fragt, wie Sie diese Pflicht erfüllen, ist eine geschriebene Regel plus eine belegte Schulung die einzige Antwort, die sich zeigen lässt. Bleibt die Frage, ob Sie überhaupt Hochrisiko sind. Gehen Sie sie mit mir durch. Entscheidet Software bei Ihnen über Bewerbungen oder über Leistung? Über Kreditwürdigkeit? Über Zugang zu Bildung? Steckt sie als Sicherheitsbauteil in einem Produkt, das ohnehin geprüft wird? Wenn Sie viermal nein gesagt haben, sind Sie nicht Hochrisiko. Dann bleiben die Transparenzpflichten und die KI-Kompetenz. Das ist wenig, aber es ist nicht nichts. Wer einmal ja gesagt hat, hat ab Dezember 2027 deutlich mehr zu tun — und sollte jetzt anfangen. Was kostet ein Verstoß? Fast jeder Ratgeber nennt 35 Millionen Euro. Oder sieben Prozent vom Jahresumsatz. Die Zahl stimmt, nur für etwas anderes: sie gilt für verbotene Praktiken. Für Transparenzpflichten steht im selben Artikel eine andere Obergrenze. Nämlich 15 Millionen Euro. Oder drei Prozent vom Jahresumsatz. Und für kleine und mittlere Unternehmen dreht sich die Rechnung sogar um: dort gilt der niedrigere der beiden Werte, nicht der höhere. Was Sie diese Woche tun können, ohne Projekt: Schreiben Sie auf, welche KI-Werkzeuge im Haus benutzt werden. Prüfen Sie, ob irgendwo ein Chatbot mit Kunden spricht und ob dort steht, dass er eine Maschine ist. Und halten Sie fest, wer wann geschult wurde. Das ist ein Nachmittag, kein Projekt. Ob es reicht, beurteilt am Ende ein Mensch anhand Ihrer Unterlagen — aber ohne diese Listen können Sie die Frage gar nicht beantworten. Die Listen von eben sind genau das, was das Gesetz als Aufzeichnung und als Aufsicht verlangt. Von Hand hält das niemand durch. So sieht es aus, wenn eine Maschine es führt: eine Zahlung wird vorgelegt, läuft durch die Prüfkette — und bleibt hängen. Am Ende steht eines von drei Dingen: erlaubt, blockiert, oder ein Mensch entscheidet. Alle unsere Agenten laufen so. Die Fundstellen stehen in der Beschreibung, alle nachschlagbar. Nachweisbar heißt nachrechenbar. Krynex Labs.
Kurz beantwortet
Was gilt für den Mittelstand seit August 2026 wirklich?
Seit dem 2. August 2026 gelten die Transparenzpflichten aus Artikel 50, und zwar für bestimmte KI-Systeme: Ein Chatbot, der direkt mit Menschen spricht, muss sagen, dass er eine Maschine ist; KI-erzeugte Inhalte müssen erkennbar sein, Deepfakes offengelegt. Das gilt unabhängig davon, ob ein System als Hochrisiko eingestuft ist. Für generative Systeme, die schon vor dem 2. August 2026 am Markt waren, läuft die maschinenlesbare Kennzeichnung nach Absatz 2 bis zum 2. Dezember 2026.
Länger läuft Artikel 4, die Pflicht, die KI-Kompetenz der Beschäftigten zu fördern, anwendbar seit dem 2. Februar 2025. Die Hochrisiko-Pflichten nach Anhang III wurden mit dem Digital Omnibus auf den 2. Dezember 2027 verschoben — die Transparenzpflichten sind dabei nicht mitverschoben worden.
Der Bußgeldrahmen für Transparenzverstöße liegt bei 15 Mio. Euro oder 3 % des weltweiten Jahresumsatzes; für kleine und mittlere Unternehmen gilt der niedrigere der beiden Werte. Die oft genannten 35 Mio. Euro betreffen verbotene Praktiken, nicht Transparenz.
Stand: · Fundstelle: Verordnung (EU) 2024/1689 (KI-Verordnung)
DSGVO-Rechtsgrundlage, AVV, EU-Hosting, DSFA — und der EU AI Act mit Risikoklassen und Bußgeldern bis 35 Mio. €.
Wo die Daten liegen, entscheidet die Konformität: On-Premise vs. Cloud, Open vs. Closed, Vendor-Lock-in.
Einführung, realistische Kosten, Mitarbeiter-Kompetenz und Transparenzpflichten im Tagesbetrieb.
DSGVO & Datenschutz
Welche LLMs ihr rechtssicher betreiben dürft, was in den AVV gehört und wie ihr sensible Daten schützt.
Welche LLMs sind 2026 DSGVO-konform betreibbar?
DSGVO-konform betreibbar sind 2026: Azure OpenAI in der Data Zone EU, die OpenAI-API mit Region Europa, Anthropic Claude über AWS Bedrock oder Google Cloud in der EU (die Claude-API direkt verarbeitet nur global oder in den USA), Mistral über den EU-Endpunkt, sowie on-prem-Setups mit offenen Modellen wie Mistral, Qwen, DeepSeek oder Muse Glimmer. Llama 4 ist für Firmen mit Sitz in der EU lizenzrechtlich ausgeschlossen. Nicht ohne Weiteres konform: Consumer-ChatGPT, Claude.ai-Web ohne Workspace-Tier, OpenAI-API in US-Region ohne dezidiertes DPF-Setup, Gemini-Consumer und chinesische Modelle in der Cloud.
Antwort lesenDarf ich ChatGPT oder Claude DSGVO-konform für Geschäftsdaten nutzen?
Mit Consumer-Versionen (chat.openai.com, claude.ai) nein — keine personenbezogenen oder vertraulichen Daten. Mit Business-/API-Variante und passendem Vertragsstack ja, aber nur mit AVV, EU-Region, DSFA und sauberer Datenklassifizierung.
Antwort lesenAVV mit AI-Anbietern — welche Klauseln müssen drin sein?
Die Standard-AVVs der großen AI-Anbieter erfüllen Art. 28 DSGVO formal. Aber drei Klauseln sollten Sie immer kritisch prüfen: Trainings-Opt-Out, Sub-Auftragsverarbeiter-Liste und Löschpflichten nach Vertragsende. Mehr als die Hälfte der AVVs, die wir 2026 in Audits sehen, sind entweder gar nicht abgeschlossen oder enthalten ungeprüfte Sub-Prozessor-Klauseln.
Antwort lesenPseudonymisierung vor LLM-Calls — reicht das wirklich?
Pseudonymisierung reduziert das Risiko, hebt die DSGVO-Pflichten aber nicht auf — pseudonyme Daten bleiben personenbezogen (Art. 4 Nr. 5 DSGVO). Echte Anonymisierung ist bei LLM-Inputs schwer, weil Kontext-Inferenz Re-Identifikation ermöglicht. Pseudonymisierung ist trotzdem ein wichtiger Baustein, aber kein Freischuss für sonst kritische Use-Cases.
Antwort lesenSchrems II 2026 — wie steht es um Azure OpenAI, AWS Bedrock und Google Vertex?
Ja, mit dem EU-US Data Privacy Framework (DPF) ist die Übermittlung an zertifizierte US-Anbieter möglich. Das EuG hat eine Klage dagegen 2025 abgewiesen, das Rechtsmittel beim EuGH (Latombe, C-703/25 P) läuft noch. Ein Schrems-III-Urteil ist realistisch. Wer langfristig plant, baut von Anfang an einen Migrationspfad zu EU-gehosteten oder on-prem-Alternativen ein.
Antwort lesenDSFA bei KI-Systemen — wann ist eine Datenschutz-Folgenabschätzung Pflicht?
Eine DSFA nach Art. 35 DSGVO ist Pflicht, sobald ein KI-System systematisch personenbezogene Daten verarbeitet — was bei produktiven LLM-Integrationen praktisch immer der Fall ist. Die deutschen Aufsichtsbehörden (BfDI, BayLDA, LfDI BW) führen LLMs explizit auf ihren Muss-Listen. Ohne DSFA wird das Projekt zum formalen Datenschutzverstoß.
Antwort lesenEU AI Act
Die Transparenzpflichten gelten seit August 2026, die Hochrisiko-Pflichten erst ab Dezember 2027. Was davon euch trifft — und was nicht.
EU AI Act 2024/1689 — was gilt für den Mittelstand, und ab wann?
Verbotene Systeme sind seit Februar 2025 raus, GPAI-Pflichten greifen seit August 2025, und seit dem 2. August 2026 gelten die Transparenzpflichten aus Artikel 50, vor allem für Anbieter, für Betreiber bei Deepfakes, KI-Texten von öffentlichem Interesse und Emotionserkennung. Die Hauptpflichten für Hochrisiko-KI hat der Digital Omnibus auf den 2. Dezember 2027 verschoben. Wer einen Chatbot unter eigenem Namen anbietet, muss heute für die Kennzeichnung sorgen; wer Bewerber-Screening oder Bonitätsprüfung mit KI macht, hat mehr Zeit für die Dokumentation, aber nicht weniger zu tun.
Antwort lesenHochrisiko-KI nach AI Act — fällt mein System darunter?
Hochrisiko-KI sind Systeme nach Anhang III des AI Act — vor allem in HR, Bonität, Bildung, Strafverfolgung und kritischer Infrastruktur — sowie KI als Sicherheitskomponente in regulierten Produkten (Anhang I). Im Mittelstand sind HR-Tools, Bewerber-Screening und Kreditscoring die häufigsten Treffer. Die Pflichten greifen seit dem Digital Omnibus ab dem 2. Dezember 2027, für Anhang I ab dem 2. August 2028.
Antwort lesenAI Audit Trail — was muss geloggt werden?
Für jedes produktive KI-System brauchen Sie ein Audit-Log mit Eingabe, Ausgabe, Modellversion, Nutzer, Zeitstempel und Anbieter-Region. Bei Hochrisiko-KI ist die Protokollierung nach Art. 12 AI Act Pflicht, die Aufbewahrung von mindestens 6 Monaten steht in Art. 19 und Art. 26 Abs. 6; nach dem Digital Omnibus gilt das ab dem 2. Dezember 2027. Ein normaler Chatbot ist nicht Hochrisiko, für ihn ergibt sich die Protokollierung aus der Nachweispflicht der DSGVO (Art. 5 Abs. 2), begrenzt durch die Speicherbegrenzung (Art. 5 Abs. 1 e). Wer keine Protokolle hat, kann im Streitfall kaum etwas belegen.
Antwort lesenAI-Policy nach AI Act Art. 4 — ist sie Pflicht?
Eine schriftliche AI-Policy ist nicht ausdrücklich verlangt, aber faktisch die einzige Art, die Pflicht aus Art. 4 AI Act (KI-Kompetenz des Personals fördern) und die Rechenschaftspflicht aus Art. 5 Abs. 2 DSGVO sinnvoll zu erfüllen. Sie muss klären: welche Tools sind erlaubt, welche Daten dürfen rein, wer entscheidet, wer trägt Verantwortung. Ohne Policy ist im Audit alles individuelle Entscheidung — und damit kaum nachweisbar.
Antwort lesenMitarbeiter-Schulung zu KI — was muss rein, wer haftet?
Pflicht-Inhalte 2026: AI-Act-Grundlagen, DSGVO-Basics für AI, firmen-eigene Tool-Whitelist, Datenklassifizierung, Output-Verantwortung, Eskalationspfad. 30–60 Minuten beim Onboarding plus 15–30 Minuten Refresh jährlich. Haftung: Geschäftsführung für Schulungs-Setup, Mitarbeitende für Befolgung der Policy. Bei nachweislich fehlender Schulung haftet primär das Unternehmen, nicht der einzelne Mitarbeitende.
Antwort lesenTechnik & Architektur
On-Premise vs. Cloud, Open vs. Closed, RAG vs. Fine-Tuning — die Architektur-Entscheidungen hinter der Compliance.
On-Premise vs. Cloud-LLM — wann lohnt welcher Setup?
Cloud-LLMs (Azure OpenAI, Anthropic API) sind 2026 für die meisten Anwendungsfälle im Mittelstand die richtige Wahl: schneller Start, niedrige Einstiegskosten, kein Hardware-Risiko. On-Premise wird notwendig, wenn Art.-9-Daten verarbeitet werden, der Drittland-Transfer ausgeschlossen sein muss, Latenz unter 50 ms gefordert ist oder die Cloud-Kosten stabil über rund 2.500 bis 4.000 €/Monat liegen. Unabhängig von den Kosten auch dann, wenn Auflagen den Betrieb im eigenen Haus verlangen, etwa aus der Risikobewertung eines Hochrisiko-Systems oder von Kunde, Versicherer oder KRITIS.
Antwort lesenOpen Source vs. Closed Source LLMs — was für Unternehmen?
Open-Source-Modelle haben 2026 in vielen Aufgaben aufgeschlossen und bieten volle Daten-Hoheit. Closed-Source liefert noch das beste Reasoning, das einfachste Setup und die schnellste Modellinnovation. Empfehlung: Hybrid-Stack mit Closed-Source als Default und Open-Source-Backup für sensible Daten und Lock-In-Vermeidung.
Antwort lesenRAG vs. Fine-Tuning vs. Long-Context — was wann?
RAG ist 2026 für fast jeden Anwendungsfall im Mittelstand die richtige Wahl: schneller, billiger, transparenter, aktualisierbar. Fine-Tuning nur, wenn Ton/Format dauerhaft trainiert werden muss. Long-Context (Claude und Gemini je rund 1 Mio. Token) ersetzt RAG für kleine, statische Wissensbasen — wird aber bei Skalierung teurer als RAG.
Antwort lesenVendor Lock-In bei AI — wie unabhängig bleiben?
Lock-In hat vier Schichten — Modell, API-Format, Embeddings, Tools/Frameworks. Schutz: Provider-Abstraktion (LiteLLM, eigener Adapter), Eval-Set für reproduzierbaren Modell-Vergleich, Embeddings-Versionierung, datensparsame Vendor-Tool-Nutzung. Pragmatisches Ziel ist nicht 100 % Anbieter-Unabhängigkeit, sondern dass ein Anbieter-Wechsel in 2–4 Wochen statt 6 Monaten machbar ist.
Antwort lesenHalluzinationen — wie bekomme ich sie im Kundenkontakt klein?
Halluzinationen werden nicht durch ein besseres Modell auf null gedrückt, sondern durch System-Design: RAG mit Quellenzwang, Retrieval-Qualität messen, Output-Plausibilisierung, klare Antwort-Verweigerung bei Unsicherheit, Human-in-the-Loop für sensible Bereiche. Wer alle fünf Hebel zieht, kommt auf eine Fehlerrate von 0,5–2 % — was für viele Use-Cases akzeptabel ist.
Antwort lesenPraxis & Einführung
Von der ersten Einführung über realistische Kosten bis zu Urheberrecht an KI-Outputs.
KI im Mittelstand einführen: der praktische Leitfaden
In fünf Schritten: (1) Reifegrad + Use-Cases klären (KI-Readiness-Audit), (2) einen Use-Case mit klarem ROI als Pilot wählen, (3) DSGVO/EU-AI-Act-Rahmen früh festzurren, (4) produktiv bauen statt Demo (mit Eval, Monitoring, Wartung), (5) messen und ausrollen. Wer mit Strategie statt Tool startet, vermeidet die teuersten Fehler — Insellösungen, Vendor-Lock-in und Compliance-Nacharbeit.
Antwort lesenWas kostet ein produktiver AI Agent realistisch?
Realistisch 15.000–80.000 € Einmal-Investition plus 500–4.000 €/Monat laufende Betriebskosten — abhängig von Komplexität, Anbindungen und Datenvolumen. Wer Angebote unter 5.000 € sieht, bekommt meist eine Workflow-Konfiguration ohne Wartung, Monitoring oder Compliance-Layer. Wer Angebote über 200.000 € sieht, zahlt Enterprise-Aufschlag, der im Mittelstand selten lohnt.
Antwort lesenUrheberrecht bei AI-Outputs — wem gehört der Output?
Nach deutschem Urheberrecht (§ 2 Abs. 2 UrhG) entstehen Urheberrechte nur an Werken mit menschlicher Schöpfung. Reine AI-Outputs sind nicht urheberrechtlich geschützt — Sie können sie nutzen, andere aber auch. Mit ausreichender menschlicher Bearbeitung können Sie eigenes Urheberrecht begründen. Bei Bildern und Code lauern zusätzlich Trainings-Daten-Risiken aus Drittquellen.
Antwort lesenDSGVO-LLM-Checkliste 2026 als PDF
Die komplette Prüf- und Entscheidungs-Checkliste zum Abhaken — Anbieter-Matrix, Go-Live-Prüfpunkte und Datenklassifizierung auf zwei Seiten.
- Konform vs. nicht konform auf einen Blick
- 10 Prüfpunkte vor dem Go-Live
- Datenklassifizierung in drei Stufen
- Anbieter-Kurzempfehlung nach Profil
Wo steht euer Setup?
Ein 30-Minuten-Erstgespräch klärt, ob euer aktueller AI-Stack DSGVO- und AI-Act-fest ist oder wo nachzuarbeiten ist. Kostenlos, ohne Verkaufsdruck.
Erstgespräch buchen