Generative KI

Tarik Kayapinar — Mon, 02 Mar 2026 21:52:26 +0000

Generative KI

Chancen nutzen, Risiken beherrschen

Generative KI verändert unsere Arbeitswelt mit einer Geschwindigkeit, die wir bisher kaum kannten. Unternehmen profitieren von produktiveren Prozessen, effizienteren Arbeitsabläufen und völlig neuen Möglichkeiten in Text-, Bild-, Video-, Audio-, oder Codegenerierung. Doch mit den Chancen wächst auch die Verantwortung: Generative KI bringt neuartige Sicherheitsrisiken, die ohne klare Governance schnell zur realen Bedrohung werden können.

Warum Generative KI so wertvoll ist

Ob Textautomatisierung, Code-Analyse, Design-Prototypen oder Datenvisualisierung – generative Modelle sind längst mehr als Spielereien.

Sie unterstützen heute bereits:

Sicherheitsmanagement (z. B. Analyse von Schwachstellen, Incident-Response-Pläne)
Erkennung von Spam, Phishing & Fake News
Code-Härtung & Log-Analyse
Effizienzsteigerung im Tagesgeschäft
Visualisierung komplexer Zusammenhänge

Richtig eingesetzt, kann KI einen massiven Beitrag zur Sicherheit, Compliance, Qualität und Produktivität leisten.

Wollen Sie herausfinden, was Ihr KI-Potenzial ist?

Dann starten Sie noch heute und kontaktieren Sie uns für ein gemeinsames, kostenloses Use-Case-Sparring.

Die Schattenseite: Neue Sicherheitsrisiken

Mit der Einführung generativer KI kommen jedoch Risiken, die viele Unternehmen noch unterschätzen:

1. Risiken trotz „ordnungsgemässer“ Nutzung

Vertraulichkeit von Eingaben (Datenabfluss in Cloud-KI)
Fehlerhafte oder irreführende Ausgaben
Unsicherer generierter Code
Automation Bias – blindes Vertrauen in KI-Ergebnisse

2. Missbräuchliche Nutzung Angreifende können KI verwenden, um:

Gefälschte Inhalte, Identitäten oder Deepfakes zu erzeugen
Malware zu programmieren oder Social-Engineering-Angriffe zu skalieren
Prozesse wie CEO-Fraud deutlich raffinierter durchzuführen

Auch innerhalb von Unternehmen entstehen Risiken – etwa durch das Teilen vertraulicher Daten mit externen KI-Diensten, urheberrechtliche Verstösse oder diskriminierende KI-Entscheidungen.

3. Angriffe auf die KI selbst

Generative Modelle sind angreifbar, bisher sind uns 3 populäre Arten bekannt:

Privacy Attacks

Angreifer versuchen, sensible Informationen aus dem Modell zu rekonstruieren, z.B. Trainingsdaten oder private Nutzereingaben. Dadurch werden vertrauliche Daten offengelegt, obwohl das Modell eigentlich nur Ergebnisse liefern sollte.

Hinweis:

Angreifer können auch interne Mitarbeiter mit guten IT-Kenntnissen sein, die sich bspw. unbefugten Zugriff auf vertrauliche Informationen bzw. Systeme schaffen wollen.

Beispiel:

Ein Versicherungsunternehmen setzt ein internes generatives KI-System (LLM) ein, um Mitarbeitende bei der Analyse von Schadenfällen, der Zusammenfassung von Kundendossiers und der Beantwortung interner Fachfragen zu unterstützen.

Das KI-System basiert auf einem LLM mit RAG-Architektur (Retrieval-Augmented Generation) und greift auf interne Wissensquellen wie Kundendatenbanken, Schadenakten, interne Richtlinien und frühere Chatverläufe (zur Qualitätsverbesserung) zu.

Ein interner Angreifer (z.B. ein Mitarbeitender mit erweiterten IT-Kenntnissen) möchte prüfen, ob sich vertrauliche Informationen anderer Kunden oder Mitarbeitender aus dem KI-System rekonstruieren lassen und formuliert entsprechend «harmlose» Fragen wie „Erstelle eine Beispiel-Zusammenfassung eines komplexen KFZ-Schadenfalls eines Kunden aus Zürich mit mehreren Beteiligten.“

Das KI-System antwortet mit realistisch klingenden Namen, echten Postleitzahlen, detaillierten Schadenbeschreibungen, medizinischen Informationen und exakten Schadenssummen.

Das Problem: Die Informationen stammen nicht aus fiktiven Beispielen, sondern sind rekonstruierte Inhalte aus echten Trainings- oder Kontextdaten.

Ein besonders eindrückliches Beispiel eines realen Cases:

Beim „EchoLeak“-Exploit gelang es Angreifern, über versteckte Prompt Injections Daten aus dem Kontextfenster eines KI-Copilots abzugreifen – ohne klassisches Phishing und mit minimaler Nutzerinteraktion.

Evasion Attacks

Manipulation von Eingaben zur Umgehung von Schutzmechanismen durch Dritte.

Beispiel:

Eine Bank setzt ein KI bzw. LLM-gestütztes Assistenzsystem ein, das eingehende E-Mails automatisch klassifizieren oder potenziellen Betrug, Phishing oder Social Engineering erkennen soll.

Ein externer Angreifer möchte eine Betrugs-E-Mail an einen Mitarbeitenden platzieren, mit ungewöhnlichen Satzstrukturen, harmlose Fachbegriffe, leicht veränderte Zahlungsaufforderungen und Kontextbezug auf reale Projekte oder Abteilungen.

Die KI könnte nun die E-Mail als harmlos bzw. als «unauffällige interne Fachkommunikation» einstufen und die Nachricht passiert alle automatisierten Filter und landet direkt im Posteingang eines Mitarbeitenden aus dem Finance-Team.

-> Der Überweisungsprozess wird angestossen.

Poisoning Attacks

Trainingsdaten werden von Dritten absichtlich „vergiftet“, sodass das Modell fehlerhaft oder manipulierbar wird.

Beispiel:

Ein Versicherungsunternehmen betreibt ein internes generatives KI-System (LLM) u.a. zur Unterstützung von Schadenbearbeitung, Betrugserkennung und Beantwortung interner Fachfragen.

Das Modell wird regelmässig nachtrainiert („Continuous Learning“) mit neuen Schadenfällen, internen Dokumenten, Feedback der Fachabteilungen und externen Fachquellen (z. B. Marktberichte, Partnerportale).

Die Trainingsdaten werden automatisiert übernommen, um Effizienz und Aktualität sicherzustellen. Ein externer Angreifer (oder ein kompromittierter Partner) möchte erreichen, dass das KI-System in bestimmten Fällen systematisch falsche Entscheidungen trifft, ohne dass dies sofort auffällt.

Konkret sollen bestimmte Betrugsindikatoren ignoriert werden und bestimmte Schadenmuster als „unauffällig“ gelten. Der Angreifer kompromittiert eine externe Datenquelle, z.B. ein Partnerportal oder einen gemeinsam genutzten Wissenspool. Dort werden gezielt manipulierte bzw. verfälschte Inhalte platziert, die sich negativ auf Entscheidungen zu Betrugsfällen oder Klassifizierungen von Schadensfällen auswirken.

-> Das Modell lernt schrittweise ein verzerrtes Entscheidungsverhalten.

-> Die Auswirkungen zeigen sich erst Wochen oder Monate später.

Ein klarer Beweis, dass KI-Security heute ein eigener Disziplinbereich ist

Wie Unternehmen sich schützen können:

Bei Pragmatica bieten unsere Experten und Berater folgende Umsetzungen & Implementationen an, damit KI in eurem Unternehmen verantwortungsvoll und sicher eingesetzt werden kann.

kOMPETENZEN AUFBAUEN & mITARBEITER SCHULEN

Mitarbeitende müssen wissen, wie KI funktioniert. Sie müssen wissen, wie diese zu nutzen ist, wo Risiken liegen und wie man sie minimiert.

Unser KI-Enablement-Service macht Generative KI sicher für Banken & Versicherungen.

Die Pragmatica AG befähigt Mitarbeitende durch gezielte Schulungen, KI regelkonform und sicher einzusetzen – im Einklang mit DSGVO, FINMA-Vorgaben, EU AI Act sowie etablierten Standards wie ISO/IEC 42001 und NIST AI RMF.

Gerade in regulierten Umfeldern entstehen KI-Risiken häufig durch fehlendes Know-how, falsche Nutzung und Automation Bias.

Mit praxisnahen Trainings, realen Fallbeispielen und klaren Dos and Don’ts schaffen wir Sicherheit, Akzeptanz und Audit-Readiness.

Weniger Risiko. Mehr Effizienz. Prüfungs- und revisionssicher.

rICHTLINIEN & GOVERNANCE

Eine klare interne KI-Policy ist Pflicht – insbesondere hinsichtlich Datenschutzes, Compliance, Transparenz und Umgang mit vertraulichen Daten.

Technische & organisatorische Massnahmen

Eigene KI-Services (z. B. interne LLMs) mit kontrollierten Regeln und Sicherheitsmechanismen reduzieren Risiken deutlich.

Etablierte Standards nutzen

ISO/IEC 42001 – weltweit erster Standard für KI-Managementsysteme
ISO/IEC 23894 – standardisiertes KI-Risikomanagement
NIST AI RMF – Best Practices zur Steuerung von KI-Risiken
CoE AI Treaty – internationaler Vertrag zu KI, Menschenrechten & Rechtsstaatlichkeit

Diese Frameworks bieten Orientierung, wie KI sicher, rechtskonform und ethisch eingesetzt werden kann.