Cyberrisiken durch KI-basierte Systeme: Status und Trends

Generative KI auf LLM-basierten Systemen ist längst im Arbeitsalltag angekommen. Welche Ansätze für Cyberkriminalität künstliche Intelligenz längst eröffnet hat und worauf Unternehmen daher verstärkt achten müssen, schildert Security-Experte Markus Schumacher in einem Gastbeitrag für das IT-OnlineMagazin.

Die dunkle Seite von KI

Die Durchdringung ist groß – bei Privatpersonen und Unternehmen gleichermaßen. Privat werden ChatGPT oder Gemini mittlerweile gerne als Ersatz für Suchmaschinen oder als kreativer Sparringspartner genutzt. Das mag noch spielerisch wirken. Doch davon kann in der Geschäftswelt keine Rede sein. Softwareanbieter und Anwendungsunternehmen versprechen sich viel von möglichen KI-Szenarien. So propagiert beispielsweise der ERP-Anbieter SAP gleich mehrere hundert KI-Anwendungsfälle, die Unternehmensprozesse, etwa im Bereich Finanzen, Personalmanagement, Logistik oder Einkauf vereinfachen, integrieren und letztendlich beschleunigen sollen. Auch beim Thema der Meldepflichten für Compliance oder ESG wird Potenzial gesehen und schließlich auch bei der Erstellung von Coding. KI wird also in allen Unternehmensbereichen zum Einsatz kommen.

Wie so oft bei der Verbreitung neuer Technologien, gibt es auch bei KI eine Kehrseite der Medaille. Denn auch Kriminelle nutzen KI, um beispielsweise Phishing-Versuche oder Cyberattacken deutlich effizienter durchzuführen. Hier einige Meldungen, Zahlen und Fakten aus der jüngeren Vergangenheit, Tendenz der Vorfälle steigend:

• Deep­fake-Verifikationsversuche nahmen laut dem Podcast Security-Insider 2025 in Deutschland um 53 Prozent
• IT-Daily.net meldet, dass der Missbrauch vertrauenswürdiger Online-Plattformen sowie die Nutzung generativer KI-Tools wie Zero-Code-Entwicklungsplattformen bei jeweils zehn Prozent aller Angriffe festgestellt wurde.
• „Im Jahr 2025 beobachten wir vermehrt Zero-Click-Prompt-Injection-Angriffe[iii], bei denen bereits der Empfang einer E-Mail oder einer Kalendereinladung einen Exploit auslösen kann, ohne dass der Benutzer etwas tun muss,“ vermeldet Watchguard.com (Beispiel: EchoLeak (CVE 2025 32711) in Microsoft Teams) – und verweist auf weitere Security-Risiken.
• Im November 2025 wurde bekannt, dass KI angeblich eingesetzt wurde, um diese über einen langen Zeitraum konsistent zu “orchestrieren”, also den Ablauf zu planen, zu koordinieren, aber auch sehr aufwändige Aufgaben automatisiert durchzuführen – siehe Anthropic-Report vom 05.12.2025. Auch wenn es Zweifel daran gibt, dass dies in hohem Maß KI-basiert war, ist davon auszugehen, dass ein solches Szenario ernst zu nehmen ist.

Missbrauchsszenarien mit „Zukunftspotenzial“

 Bei vielen Meldungen wird erst auf den zweiten Blick deutlich, dass KI genutzt wurde, um den Angriff durchzuführen. Dies ändert jedoch nichts daran, dass es wichtig ist zu verstehen, was in puncto KI und Security auf Unternehmen zukommt, um die Folgen der Nutzung der neuen Technologie besser einordnen zu können. Einige generische Fragestellungen mit Blick auf KI und Cybersecurity sind beispielsweise:

• Angriffe mit KI-Unterstützung: Wie wird KI-Technologie zu kriminellen Zwecken künftig genutzt, um Angriffe effektiver durchführen zu können? Diese Themen finden typischerweise Eingang in die Presse, siehe oben.
• Speziell beim Social Engineering zeigt sich eine neue Qualität der Missbrauchsversuche: Der Mensch ist und bleibt eine wesentliche Schwachstelle in den Schutzkonzepten der Unternehmen. Das Thema Phishing ist längst bekannt, entsprechende Versuche sind durch KI aber immer schwieriger zu erkennen. Hier kann sich jeder die Frage stellen, ob und wann er vielleicht schon einmal eine E-Mail bekommen hat, die sehr glaubwürdig aus dem eigenen Haus zu stammen schien. Verschärft wird die Phishing-Masche durch die KI-basierte Fälschung von Ton und Bild („Deep Fake“) in hoher Qualität – wie ein ausgeklügelter Betrug in Honkong zeigt.
• Nutzung von KI zur Malware-Erstellung: KI wird zur Erstellung von Angriffs-Code verwendet und soll sogar selbstlernend werden, um gängige Detektionsverfahren leichter zu umgehen. Laut Heise.de ist das zwar aktuell eher noch ein Forschungsthema – aber eines, das künftig ganz sicher noch drastisch an Relevanz gewinnen dürfte, weil damit die „Wirtschaftlichkeit“ von Malware deutlich steigen kann.
• Angriffe auf KI-Systeme: Schließlich sind noch Angriffe auf KI-Systeme selbst zu betrachten. Ein Meilenstein ist hier sicherlich die Arbeit des Berryville Institute of Machine Learning.

Vorher fragen, Antworten sorgfältig prüfen

Einige Fragen, die sich Unternehmen mit Blick hierauf stellen müssen, mögen klar auf der Hand liegen – was aber nicht bedeutet, dass sie einfach zu beantworten sind:

• Wie wird sichergestellt, dass KI, die ggf. auf diverse Module zugreifen kann, nicht die Zugriffsrechte des individuellen Benutzers überschreitet – Berechtigungskonzept prüfen!
• Wie stellt man sicher, dass die KI nicht manipuliert werden kann?
• Wie wird gewährleistet, dass durch KI-Anwendungen keine „Löcher“ in vorhandene Schutzkonzepte gebohrt werden?

Die Empfehlung lautet daher, sich am besten schon vor der Nutzung von KI folgende Fragen zu stellen und die Antwortmöglichkeiten sorgfältig zu prüfen – oder zu schauen, wer von Experten-Seite seriös zur Beantwortung beitragen kann:

• Was möchte ich mit KI erreichen und wo muss der Mensch „im Loop“ bleiben (sollte man sich selbst überlegen)?
• Wie stelle ich sicher, dass die von mir genutzte KI nicht manipuliert werden kann? Will ich hier dem Anbieter (proprietär) vertrauen oder eher einer offenen Open-Source Community (volle Transparenz)?
• Welche Maßnahmen muss ich implementieren, um mich gegen Deep Fakes etc. zu schützen (Out-of-Band-Mechanismen, Mehrfaktor-Sicherheit, Training)?
• Wo sind offensichtliche Lücken meiner Sicherheitsmaßnahmen, die viel zu lange toleriert wurden – die nun aber dringend geschlossen werden müssen, da durch KI die Hürden für Angriffe immer schneller gesenkt werden?

Ein konkreter Startpunkt kann beispielsweise die unter Mitwirkung des BSI entstandene Publikation Engaging with artificial intelligence gesehen werden. Diese wurde im Ende 2023 / Anfang 2024 veröffentlicht und bildet sicherlich einen Startpunkt. Wenn auch nicht mehr ganz aktuell, ist dieser Leitfaden dennoch ein guter Einstieg, sich systematischer mit den Technologiefolgen der KI-Nutzung auseinanderzusetzen.

[i] https://www.security-insider.de/ki-basierte-betrugsangriffe-deepfakes-deutschland-anstieg-a-59270f4a60df5661d5ade94918f54fd9
[ii] https://www.it-daily.net/it-sicherheit/cybercrime/anzahl-der-phishing-kits-2025
[iii] https://www.watchguard.com/de/wgrd-news/blog/die-fuenf-groessten-sicherheitsrisiken-durch-ki
[iv] https://www.united-domains.de/blog/gefahr-deepfake/
[v] https://www.heise.de/hintergrund/KI-erstellte-Malware-Medienhype-oder-reale-Bedrohung-10767911.html
[vi] https://berryvilleiml.com/docs/BIML-LLM24.pdf