Wichtige CIO-Frage: Welche Rolle spielt SAP für die eigene KI-Strategie?

Künstliche Intelligenz (KI) ist längst mehr als ein Zukunftstrend – sie ist dabei, zentrale Unternehmensprozesse und die Zusammenarbeit grundlegend zu verändern. Besonders im SAP-Umfeld mit seinen datengetriebenen Geschäftsprozessen ergeben sich enorme Potenziale. SAP integriert Business AI und den Co-Pilot Joule — optional erweitert um Perplexity — in alle Lösungen. Die SAP Business Data Cloud soll die Standard KI-Datenplattform für SAP-Kunden werden.

Doch viele Unternehmen stehen noch am Anfang, haben noch großen Informationsbedarf, wie die SAP KI-Umfrage des IT-Onlinemagazins in Kooperation mit der DSAG im Frühjahr 2025 zeigte. Unternehmen und ihre CIOs fragen sich: Wie entwickeln wir eine tragfähige, skalierbare und in SAP integrierbare KI-Strategie?

Dieser Beitrag bietet eine systematische Herangehensweise, gegliedert in sieben aufeinander aufbauenden Schritten – von der strategischen Zielsetzung über die Technologieauswahl bis zur Umsetzung und Skalierung.

 

1. Ausgangslage verstehen und Ziele klar definieren

Am Beginn steht eine fundierte Auseinandersetzung mit der Ausgangslage und eine klare Zieldefinition. CIOs fragen sich als Vorreiter in der eigenen Organisation, welche konkreten Herausforderungen oder Chancen sie im Unternehmen durch KI adressieren können. Geht es primär um Kosteneinsparung, Prozessautomatisierung, Qualitätsverbesserung oder um die Erschließung neuer Geschäftsmodelle?

Gleichzeitig ist es wichtig, die bestehende SAP-Landschaft zu analysieren. Dazu gehört die Erfassung aller relevanten SAP-Systeme wie S/4HANA, SAP BW, SuccessFactors oder SAP Ariba. Ebenso müssen die diversen Non-SAP Datenquellen, bestehende Integrationen und technologische Abhängigkeiten erfasst werden. Auch eine Bewertung der aktuellen Digital- und Datenstrategie ist sinnvoll.

Um systematisch vorzugehen, kann die Durchführung einer Reifegradanalyse helfen. Diese kann beispielsweise die technologische Infrastruktur, die Datenverfügbarkeit, die organisatorische Aufstellung sowie die digitale Unternehmenskultur einschließen.

 

2. Datenstrategie und Architektur als Fundament 

Eine leistungsfähige KI ist ohne qualitativ hochwertige und gut strukturierte Daten nicht denkbar. Deshalb kommt der Datenstrategie eine Schlüsselrolle zu. Unternehmen müssen zunächst klären, welche Datenquellen verfügbar sind, in welchem Zustand sich die Daten befinden und ob sie übergreifend verknüpft werden können. Dabei ist die SAP-Welt oft komplex: Daten liegen verteilt in unterschiedlichen Modulen, Systemen und Versionen vor.

CIOs fördern eine übergreifende Datenarchitektur, die SAP- und Non-SAP-Daten integriert. Plattformen wie SAP Datasphere oder Lösungen auf Basis der SAP Business Technology Platform (BTP) bieten moderne Möglichkeiten für eine zentrale, skalierbare Datenhaltung und -verarbeitung. Neuer Standard soll die SAP Business Data Cloud in Kombination mit Databricks werden, wenn es nach den Walldorfern geht.

Ebenso essenziell ist die Einführung klarer Rollen und Prozesse im Datenmanagement. Data Owner und Data Stewards müssen definiert werden. Nur so kann die Datenqualität dauerhaft sichergestellt und die Nutzung für KI-Systeme ermöglicht werden.

Nicht zuletzt spielt auch der rechtliche Rahmen – insbesondere im Hinblick auf Datenschutz, EU AI-Act und DSGVO – eine zentrale Rolle. Eine Datenstrategie muss immer auch verbindliche Regeln für Datenzugriff, -verwendung und -sicherheit beinhalten.

 

3. Smarte Business AI Use Cases priorisieren

Künstliche Intelligenz muss die Spielwiese verlassen und in konkreten Anwendungsfällen zur Lösung realer Geschäftsprobleme eingesetzt werden. CIOs sollten deshalb gemeinsam mit Fachabteilungen systematisch Use Cases identifizieren, die sich für den Einsatz von KI eignen. Und das, unbedingt bevor die Fachbereiche selbst beginnen und mit eigenen Aktivitäten und Tools Schatten-KI aufbauen. Ideen und geeignete Szenarien finden sich sicher in allen Unternehmensbereichen.

Nach der Identifikation der Use Cases gilt es, diese zu priorisieren. Entscheidend sind dabei drei Kriterien: der strategische Nutzen für das Unternehmen, die technische und organisatorische Machbarkeit sowie die Verfügbarkeit der benötigten Daten. Besonders erfolgversprechend sind in der Regel smarte Anwendungsfälle, bei denen ein klar messbarer Nutzen (z. B. Kostenreduktion, Zeitersparnis, Qualitätssteigerung) mit geringem Aufwand realisiert werden kann. Unternehmensbereiche mit Affinität zu Daten eignen sich besonders.

 

4. Technologische Plattformen und Kosten bewerten

Nach der Auswahl der Use Cases stellt sich die Frage nach den richtigen Technologien. Im SAP-Umfeld stehen heute verschiedene Möglichkeiten zur Verfügung, um KI-Funktionalitäten zu integrieren.

Einerseits bietet SAP selbst eine Reihe von KI-Diensten, die direkt in bestehende Anwendungen eingebettet werden können. So liefert die SAP Business AI vordefinierte Funktionen, etwa für automatische Texterkennung oder Vorhersagemodelle. In SAP S/4HANA lassen sich KI Scope-Items einfach aktivieren und fortan nutzen. SAP stellt auch Plattformen für die Entwicklung und den Betrieb eigener KI-Modelle bereit.

Andererseits besteht die Möglichkeit, externe KI-Services – etwa von Microsoft Azure, Google Cloud oder Amazon Web Services – zu integrieren. Dies eröffnet mehr Flexibilität, stellt jedoch auch höhere Anforderungen an Datenschutz, Architektur und Integration.

Ein zukunftssicherer Ansatz basiert auf einer offenen, API-basierten Architektur, die hybride Szenarien zulässt: Standardfunktionen von SAP werden genutzt, wo sinnvoll — individuelle Modelle kommen dort zum Einsatz, wenn sie besser geeignet sind.

Auch die Nutzungskosten spielen eine entscheidende Rolle, ob sich der jeweilige KI-Case rechnet. Sie müssen in die Technologie-Auswahl einfließen. Das ist insbesondere langfristig schwierig kalkulierbar, weil alle Anbieter das große Geschäft mit KI wittern, aber auf diesem Spielfeld auch der größte Wettbewerb und die größte Innovationsgeschwindigkeit stattfinden.

Arbeitsschritte oder Use-Cases, die sich direkt mit Scope-Items in S/4HANA umsetzen lassen, haben nahezu keinen Implementierungsaufwand und eignen sich daher besonders gut, um KI-Erfahrungen zu sammeln und positive KI-Effekte für die Mitarbeitenden spürbar zu machen.

 

5. Organisation, Kompetenzen und Governance 

Bekanntermaßen reicht Technologie allein nicht aus. Für eine nachhaltige KI-Strategie müssen auch die organisatorischen Voraussetzungen geschaffen werden. CIOs sollten eine Struktur etablieren, die Verantwortlichkeiten klärt, Kompetenzen bündelt und die bereichsübergreifende Zusammenarbeit fördert.

Ein möglicher Ansatz ist der Aufbau eines unternehmensweiten AI Center of Excellence (CoE). Dieses fungiert als zentrale Anlaufstelle für alle KI-Initiativen, entwickelt Standards und Leitlinien, koordiniert Projekte und treibt die interne Weiterbildung voran.

Entscheidend ist auch der Aufbau eines geeigneten Kompetenzprofils. Neben Data Scientists und Machine Learning Engineers braucht es SAP-Architekten, die beide Welten – KI und ERP – miteinander verbinden können. Ergänzt werden diese durch Experten für Datenintegration sowie ethische und rechtliche Fragestellungen.

Transparenz, Nachvollziehbarkeit und Fairness sind zentrale Anforderungen an KI-Systeme. Daher sollte jedes Unternehmen ein AI-Governance-Modell einführen, das Grundsätze für ethisch verantwortungsvolle KI-Entwicklung und -Anwendung festlegt – gerade in sensiblen Bereichen wie HR oder Kreditvergabe.

SAP will Anwendungsunternehmen beim zentralen Management und der Compliance von KI-Agenten, unterstützen: In LeanIX soll noch in 2025 der „AI Agent Hub“ eingebettet werden, um alle im Unternehmen eingesetzten KI-Agenten zentral zu inventarisieren und den Überblick zu behalten, was wie und in welchen Unternehmensbereichen genutzt wird.

 

6. Pilotprojekte, Schulung und spätere Skalierung

Die erfolgreiche Implementierung beginnt meist mit einem oder mehreren Pilotprojekten. Diese sollten bewusst so gewählt werden, dass sie schnell umsetzbar sind, konkrete Vorteile liefern und als „Proof of Concept“ für das gesamte Unternehmen dienen können.

In der Umsetzung kommt ein iteratives, agiles Vorgehen mit enger Abstimmung zwischen IT, Fachbereichen und Data Science in Frage. Parallel dazu sollten auch Prozesse für die Versionierung, Überwachung, Nachschulung und Dokumentation von KI-Modellen und KI-Lösungen etabliert werden.

Wichtig ist dabei, die geplanten KI-Anwendungen nicht isoliert zu betrachten, sondern in die SAP-Prozesswelt zu integrieren – etwa über Erweiterungen auf der SAP BTP, eigene Fiori-Apps oder Embedded Services.

Aus früheren Innovationsprojekten wissen wir: Eine Skalierung gelingt nur, wenn die Architektur flexibel, standardisiert und wartbar ist – und wenn frühzeitig über organisatorische und betriebliche Aspekte nachgedacht wurde.

Wie immer notwendig und erfolgskritisch, trotzdem regelmäßig vergessen: Die Schulungs- und Change-Management-Bedarfe sind zu bewerten und zu berücksichtigen, will man erfolgreiche Pilotprojekte oder Rollouts schaffen.

 

7. Erfolgsmessung, Monitoring und Optimierung

Nach dem Rollout ist die Arbeit nicht erledigt. KI-Systeme müssen kontinuierlich überwacht, bewertet und weiterentwickelt werden. Dafür braucht es Kennzahlen, verlässliche Monitoring-Instrumente und Feedback-Mechanismen aus den Fachabteilungen.

Erfolgskriterien können unter anderem sein: die Reduktion von Bearbeitungszeiten, die Erhöhung der Prozessqualität, die Automatisierungsquote oder der Beitrag zur Umsatzsteigerung.

Tools wie die SAP Analytics Cloud oder andere BI-Lösungen helfen dabei, relevante KPIs zu visualisieren und Trends frühzeitig zu erkennen. Gleichzeitig sollte es feste Feedback-Zyklen mit den Nutzern geben, um Verbesserungspotenziale zu identifizieren und die Akzeptanz zu sichern.

Die kontinuierliche Optimierung ist nicht nur ein technischer, sondern vor allem ein kultureller Prozess: Unternehmen müssen lernen, datenbasiert zu handeln, mit Unsicherheiten umzugehen und neue Technologien iterativ weiterzuentwickeln.

 

KI-Strategie mit SAP – ohne Silos, mit neuer Kultur

Eine KI-Strategie im SAP-Umfeld erfordert das Zusammenspiel von Geschäftsstrategie, Datenkompetenz, technologischer Innovationskraft und organisatorischer Weitsicht. CIOs sind dabei nicht nur technologische Entscheider, sondern vor allem strategische Gestalter des digitalen Wandels.

Es ist nicht die Jagd nach dem nächsten Tool, sondern der Aufbau einer Datenarchitektur und anderer Grundlagen, die den langfristigen Erfolg ausmachen werden. SAP hat viel gedankliche Vorarbeit geleistet und die notwendigen Werkzeuge sind da oder angekündigt. Die Nutzung von KI ist aber auch eine Frage einer neuen Unternehmenskultur, die müssen Unternehmen selbst schaffen.

Mit einem strukturierten Vorgehen können CIOs eine belastbare Grundlage für den erfolgreichen Einsatz von KI im Unternehmen schaffen — und zum Architekten intelligenter Wertschöpfung in der SAP-Welt werden.