- FOKUSTHEMA
Chancen nutzen, Risiken beherrschen
Generative KI verändert unsere Arbeitswelt mit einer Geschwindigkeit, die wir bisher kaum kannten. Unternehmen profitieren von produktiveren Prozessen, effizienteren Arbeitsabläufen und völlig neuen Möglichkeiten in Text-, Bild-, Video-, Audio-, oder Codegenerierung. Doch mit den Chancen wächst auch die Verantwortung: Generative KI bringt neuartige Sicherheitsrisiken, die ohne klare Governance schnell zur realen Bedrohung werden können.
Warum Generative KI so wertvoll ist
Ob Textautomatisierung, Code-Analyse, Design-Prototypen oder Datenvisualisierung – generative Modelle sind längst mehr als Spielereien.
Sie unterstützen heute bereits:
- Sicherheitsmanagement (z. B. Analyse von Schwachstellen, Incident-Response-Pläne)
- Erkennung von Spam, Phishing & Fake News
- Code-Härtung & Log-Analyse
- Effizienzsteigerung im Tagesgeschäft
- Visualisierung komplexer Zusammenhänge
Richtig eingesetzt, kann KI einen massiven Beitrag zur Sicherheit, Compliance, Qualität und Produktivität leisten.
Wollen Sie herausfinden, was Ihr KI-Potenzial ist?
Dann starten Sie noch heute und kontaktieren Sie uns für ein gemeinsames, kostenloses Use-Case-Sparring.
Die Schattenseite: Neue Sicherheitsrisiken
Mit der Einführung generativer KI kommen jedoch Risiken, die viele Unternehmen noch unterschätzen:
1. Risiken trotz „ordnungsgemässer“ Nutzung
- Vertraulichkeit von Eingaben (Datenabfluss in Cloud-KI)
- Fehlerhafte oder irreführende Ausgaben
- Unsicherer generierter Code
- Automation Bias – blindes Vertrauen in KI-Ergebnisse
2. Missbräuchliche Nutzung Angreifende können KI verwenden, um:
- Gefälschte Inhalte, Identitäten oder Deepfakes zu erzeugen
- Malware zu programmieren oder Social-Engineering-Angriffe zu skalieren
- Prozesse wie CEO-Fraud deutlich raffinierter durchzuführen
Auch innerhalb von Unternehmen entstehen Risiken – etwa durch das Teilen vertraulicher Daten mit externen KI-Diensten, urheberrechtliche Verstösse oder diskriminierende KI-Entscheidungen.
3. Angriffe auf die KI selbst
Generative Modelle sind angreifbar, bisher sind uns 3 populäre Arten bekannt:
Privacy Attacks
Angreifer versuchen, sensible Informationen aus dem Modell zu rekonstruieren, z.B. Trainingsdaten oder private Nutzereingaben. Dadurch werden vertrauliche Daten offengelegt, obwohl das Modell eigentlich nur Ergebnisse liefern sollte.
Hinweis:
Angreifer können auch interne Mitarbeiter mit guten IT-Kenntnissen sein, die sich bspw. unbefugten Zugriff auf vertrauliche Informationen bzw. Systeme schaffen wollen.
Beispiel:
Ein Versicherungsunternehmen setzt ein internes generatives KI-System (LLM) ein, um Mitarbeitende bei der Analyse von Schadenfällen, der Zusammenfassung von Kundendossiers und der Beantwortung interner Fachfragen zu unterstützen.
Das KI-System basiert auf einem LLM mit RAG-Architektur (Retrieval-Augmented Generation) und greift auf interne Wissensquellen wie Kundendatenbanken, Schadenakten, interne Richtlinien und frühere Chatverläufe (zur Qualitätsverbesserung) zu.
Ein interner Angreifer (z.B. ein Mitarbeitender mit erweiterten IT-Kenntnissen) möchte prüfen, ob sich vertrauliche Informationen anderer Kunden oder Mitarbeitender aus dem KI-System rekonstruieren lassen und formuliert entsprechend «harmlose» Fragen wie „Erstelle eine Beispiel-Zusammenfassung eines komplexen KFZ-Schadenfalls eines Kunden aus Zürich mit mehreren Beteiligten.“
Das KI-System antwortet mit realistisch klingenden Namen, echten Postleitzahlen, detaillierten Schadenbeschreibungen, medizinischen Informationen und exakten Schadenssummen.
Das Problem: Die Informationen stammen nicht aus fiktiven Beispielen, sondern sind rekonstruierte Inhalte aus echten Trainings- oder Kontextdaten.
Ein besonders eindrückliches Beispiel eines realen Cases:
Beim „EchoLeak“-Exploit gelang es Angreifern, über versteckte Prompt Injections Daten aus dem Kontextfenster eines KI-Copilots abzugreifen – ohne klassisches Phishing und mit minimaler Nutzerinteraktion.
Evasion Attacks
Manipulation von Eingaben zur Umgehung von Schutzmechanismen durch Dritte.
Beispiel:
Eine Bank setzt ein KI bzw. LLM-gestütztes Assistenzsystem ein, das eingehende E-Mails automatisch klassifizieren oder potenziellen Betrug, Phishing oder Social Engineering erkennen soll.
Ein externer Angreifer möchte eine Betrugs-E-Mail an einen Mitarbeitenden platzieren, mit ungewöhnlichen Satzstrukturen, harmlose Fachbegriffe, leicht veränderte Zahlungsaufforderungen und Kontextbezug auf reale Projekte oder Abteilungen.
Die KI könnte nun die E-Mail als harmlos bzw. als «unauffällige interne Fachkommunikation» einstufen und die Nachricht passiert alle automatisierten Filter und landet direkt im Posteingang eines Mitarbeitenden aus dem Finance-Team.
-> Der Überweisungsprozess wird angestossen.
Poisoning Attacks
Trainingsdaten werden von Dritten absichtlich „vergiftet“, sodass das Modell fehlerhaft oder manipulierbar wird.
Beispiel:
Ein Versicherungsunternehmen betreibt ein internes generatives KI-System (LLM) u.a. zur Unterstützung von Schadenbearbeitung, Betrugserkennung und Beantwortung interner Fachfragen.
Das Modell wird regelmässig nachtrainiert („Continuous Learning“) mit neuen Schadenfällen, internen Dokumenten, Feedback der Fachabteilungen und externen Fachquellen (z. B. Marktberichte, Partnerportale).
Die Trainingsdaten werden automatisiert übernommen, um Effizienz und Aktualität sicherzustellen. Ein externer Angreifer (oder ein kompromittierter Partner) möchte erreichen, dass das KI-System in bestimmten Fällen systematisch falsche Entscheidungen trifft, ohne dass dies sofort auffällt.
Konkret sollen bestimmte Betrugsindikatoren ignoriert werden und bestimmte Schadenmuster als „unauffällig“ gelten. Der Angreifer kompromittiert eine externe Datenquelle, z.B. ein Partnerportal oder einen gemeinsam genutzten Wissenspool. Dort werden gezielt manipulierte bzw. verfälschte Inhalte platziert, die sich negativ auf Entscheidungen zu Betrugsfällen oder Klassifizierungen von Schadensfällen auswirken.
-> Das Modell lernt schrittweise ein verzerrtes Entscheidungsverhalten.
-> Die Auswirkungen zeigen sich erst Wochen oder Monate später.
Ein klarer Beweis, dass KI-Security heute ein eigener Disziplinbereich ist
Wie Unternehmen sich schützen können:
Bei Pragmatica bieten unsere Experten und Berater folgende Umsetzungen & Implementationen an, damit KI in eurem Unternehmen verantwortungsvoll und sicher eingesetzt werden kann.
kOMPETENZEN AUFBAUEN & mITARBEITER SCHULEN
Mitarbeitende müssen wissen, wie KI funktioniert. Sie müssen wissen, wie diese zu nutzen ist, wo Risiken liegen und wie man sie minimiert.
Unser KI-Enablement-Service macht Generative KI sicher für Banken & Versicherungen.
Die Pragmatica AG befähigt Mitarbeitende durch gezielte Schulungen, KI regelkonform und sicher einzusetzen – im Einklang mit DSGVO, FINMA-Vorgaben, EU AI Act sowie etablierten Standards wie ISO/IEC 42001 und NIST AI RMF.
Gerade in regulierten Umfeldern entstehen KI-Risiken häufig durch fehlendes Know-how, falsche Nutzung und Automation Bias.
Mit praxisnahen Trainings, realen Fallbeispielen und klaren Dos and Don’ts schaffen wir Sicherheit, Akzeptanz und Audit-Readiness.
Weniger Risiko. Mehr Effizienz. Prüfungs- und revisionssicher.
rICHTLINIEN & GOVERNANCE
Eine klare interne KI-Policy ist Pflicht – insbesondere hinsichtlich Datenschutzes, Compliance, Transparenz und Umgang mit vertraulichen Daten.
Technische & organisatorische Massnahmen
Eigene KI-Services (z. B. interne LLMs) mit kontrollierten Regeln und Sicherheitsmechanismen reduzieren Risiken deutlich.
Etablierte Standards nutzen
- ISO/IEC 42001 – weltweit erster Standard für KI-Managementsysteme
- ISO/IEC 23894 – standardisiertes KI-Risikomanagement
- NIST AI RMF – Best Practices zur Steuerung von KI-Risiken
- CoE AI Treaty – internationaler Vertrag zu KI, Menschenrechten & Rechtsstaatlichkeit
Diese Frameworks bieten Orientierung, wie KI sicher, rechtskonform und ethisch eingesetzt werden kann.
Fazit
Generative KI ist eine historische Chance – aber nur, wenn wir sie sicher, verantwortungsvoll und strategisch einsetzen.
Unternehmen, die schon heute klare Regeln, Schulungen und technische Schutzmassnahmen etablieren, werden morgen zu den Gewinnern gehören.
Melden Sie sich einfach für ein kostenloses Use-Case-Sparring, um die Systemlandschaft oder KI-Governance besser kennenzulernen.
Kennenlernformate - kostenfrei & individuell
Use Case
Exploration
2–4 Stunden | Remote oder vor Ort
Einstieg in LLMs, individuelle Use Cases, Machbarkeitsabschätzung
Einstieg in LLMs, individuelle Use Cases, Machbarkeitsabschätzung
Workshop
Architektur & Technologie
2–4 Stunden | Remote oder vor Ort
Technologieoptionen im Markt & Fit zur bestehenden Architektur
Technologieoptionen im Markt & Fit zur bestehenden Architektur
workshop
KI-Governance & Compliance
1–2 Stunden | Remote oder vor Ort
Regulatorische Voraussetzungen für KI-Use (FINMA, DSG, EU KI-VO)
Regulatorische Voraussetzungen für KI-Use (FINMA, DSG, EU KI-VO)
awareness