SAP Testmanagement | Ergebnisse einer SAP-Community Umfrage

Eine Umfrage des IT-Onlinemagazins zum „SAP Testmanagement“ bei SAP Anwenderunternehmen im Frühjahr 2015 verdeutlichte das Spannungsfeld zwischen Fachbereichen und der IT um die Bereitstellung von Ressourcen, die Mitarbeit, die Zuständigkeiten und die Verantwortung.

215 Mitglieder aus der SAP-Community nahmen teil, teilten ihre Erfahrungen mit, gaben ihre Meinung und Einschätzung ab und kamen zu folgenden Ergebnissen:

 

Testverfahren in SAP Systemen

Funktionstests (92%), Entwicklertests (83%) sind die am weitesten verbreiteten Testverfahren bei den SAP Unternehmen. Erstaunlich ist, dass nur 76 Prozent der Unternehmen Integrationstests durchführen, da die SAP Landschaften in der Regel komplex sind und das reibungslose Zusammenspiel der einzelnen Komponenten bekanntermaßen wichtig ist.

Noch schlechter ist es um Regressionstests (vorher-nachher-Vergleiche) mit nur 48 Prozent und Performancetests mit 24 Prozent bestellt. Das Schlusslicht bilden Lasttests (19%) und Sicherheitstests, die nur in 18 Prozent der Fälle durchgeführt werden.

 

Testaufwand in SAP Projekten und SAP Betrieb

In SAP Projekten liegt der Testaufwand bei einem Drittel der Unternehmen bei bis zu 30 Prozent des Budgets. Zwei von drei Unternehmen kommen im laufenden Betrieb mit bis zu 20 Prozent Aufwand aus.

Wir haben die Zahlen genauer analysiert und sind zu folgender wichtigen Erkenntnis der Umfrage gekommen: Der Aufwand, der für Tests in Projekt und Betrieb betrieben wird, entscheidet eher nicht über den Erfolg: Den Unterschied macht das „Wie“, also wie effektiv und effizient SAP-Anwender-Unternehmen testen.

 

Herausforderungen bei SAP Tests

Anwender aus den Fachbereichen sind für Tests schwer zu gewinnen, selbst dann, wenn die Sensibilität zur Wichtigkeit der Qualitätssicherung im Unternehmen überdurchschnittlich ist. Das sagen gleichermaßen die Teilnehmer aus Fachbereichen und aus der IT. Fehlende Ressourcen aus den Fachbereichen für SAP Tests gaben die Befragten – mit 83 Prozent – als dominierende Herausforderung an. Auch der hohe zeitliche Aufwand (67%) und die fehlende Automatisierung (62%) wurden als wichtige Herausforderungen identifiziert.

Die Teilnehmer der Online-Befragung bemängelten unter anderem auch die fehlende Dokumentation von Tests und ihrer Ergebnisse, veraltete Testfälle, die nicht mehr zu den Prozessen passen, fehlende Erfahrung zum Erkennen von Seiteneffekten durch die Testenden und fehlende Zeitslots für Testmöglichkeiten im laufenden Betrieb, die zu Wochenend-Arbeit führen.

 

Fehlerhäufigkeit in SAP Produktivsystemen

Bei 11 Prozent der Unternehmen treten mehrmals pro Woche Fehler in produktiven SAP-Systemen auf, die man eigentlich in der Testumgebung (Q-System) hätte finden müssen.

Bei 24 Prozent treten Fehler mehrmals pro Monat auf, bei 35 Prozent mehrmals pro Quartal und bei den restlichen 30 Prozent seltener.

Erfreulich: mehrmals pro Tag treten bei keinem der Umfrageteilnehmer Fehler auf.

 

Eigenbewertung und Folgerungen

Die Teilnehmer der Umfrage wurden gebeten, eine Eigenbewertung zur Qualität der Testdaten, zur Abbildung der Realität durch die Tests, zum Umfang der eigenen Testaktivitäten und zur Frage, ob Tests in den Unternehmen ernstgenommen werden, abzugeben.

Wir erhielten durchweg recht gute eigene Bewertungen von den SAP-Anwendern, aber hier liegen die Unterschiede im Detail. Setzt man nämlich die eigene Einschätzung mit der Fehlerhäufigkeit in Korrelation, ergibt sich folgendes Bild:

Bei Unternehmen, die mehrmals pro Woche Fehler im Produktivsystem feststellen, …

• … wird die Qualität der Testdaten schlechter als im Durchschnitt bewertet
• … wird die Realität wesentlich schlechter durch die Tests abgebildet
• … wird die fehlende Automatisierung als größte Herausforderung bewertet!
• … wird kein signifikant geringer Aufwand für Tests in Projekt / Betrieb betrieben!

Bei Unternehmen die selten Fehler im Produktivsystem festgestellt werden, …

• … sind Qualität, Abbildung der Realität und Umfang der Tests besser als im Durchschnitt bewertet
• … werden die Tests wesentlich ernster genommen
• … werden deutlich mehr Integrationstests durchgeführt als in der fehlerreichen Gruppe
• … wird kein signifikant höherer Aufwand für Tests in Projekt / Betrieb betrieben!

 

Welche Erfahrungen werden mit SAP-Tests gemacht?

Sehr viele Teilnehmer – rund 10 Prozent – haben einen Kommentar abgegeben und über eigene Erfahrungen zu SAP Tests berichtet, hier finden Sie eine Auswahl:

„Auf globalen länderübergreifenden Plattformen sind SAP Tests ein Teil der täglichen Arbeiten. Der Aufwand wird von den Fachabteilungen vielmals unterschätzt. Testautomatisierung über verschiedene SAP-Plattformen (CRM, APO, EWM, ERP, BI, SRM) und inklusive Drittanwender für HHT (Handheld-Terminals) und Workflows sind schwierig zu realisieren. Wenn ein Prozess durchgelaufen ist, heißt dies noch lange nicht, dass das Ergebnis korrekt ist. Zusätzlich ändern sich Prozesse in einer schnelllebigen Zeit vielmals.“

„Gerade für technische Änderungen, wie Release-Wechsel (EHP-Update) ist das Verständnis im Fachbereich nahe bei null. Sie haben ja nur zusätzliche Arbeit, ohne etwas vom Nutzen zu bemerken. Entsprechend schlecht fällt dann das Testergebnis aus. Selbst bei Fehlern, die dadurch im P-System auftreten, heißt es lapidar: „Wie kommt das, es hat doch früher immer funktioniert?““

„Wir haben es noch nie geschafft, dass sich die User dazu genügend Zeit genommen hätten. Am Schluss muss meistens einer entscheiden, setzen wir es nun produktiv oder nicht und dann ist da der Termindruck, der meistens zu einer positiven Entscheidung zwingt.“

 

Bewertung der Ergebnisse

Gregor Stöckler, geschäftsführender Gesellschafter von DataVard, die die IT-Onlinemagazin Umfrage fachlich unterstützt und gesponsert haben, bewertet die Ergebnisse zum SAP-Testmanagement folgendermaßen: „Wir glauben, dass Tests besonders effektiv durchgeführt werden, wenn man echtes Nutzerverhalten automatisiert simulieren kann und die Testfälle bestmöglich der Realität der komplexen Produktivsysteme entsprechen.

Unserer Erfahrung nach bemängeln IT-Verantwortliche vor allem das Fehlen durchgängiger Lösungen. Mit unserer Testmanagement-Suite KATE schließen wir diese Lücke und bieten mit den drei Komponenten nutzungsbasierte Testdatenerstellung und Testautomatisierung, sowie Last- und Performancetests eine umfassende Unterstützung. Die Integrationsmöglichkeiten in den SAP Solution Manager oder HP Quality Center runden das Angebot ab.“

 

Helge Sanden vom IT-Onlinemagazin fasst zusammen: „An unserer SAP-Community Umfrage haben sich besonders viele Mitglieder beteiligt, was auf hohe Relevanz des SAP-Testmanagements für die tägliche Arbeit schließen lässt. Die Bereitstellung qualifizierter Mitarbeiter ist die größte Herausforderung bei SAP-Tests – das sagen übrigens sowohl Fachbereiche als auch die IT!

Weitere Kernerkenntnisse sind: Die Fehlerhäufigkeit steigt, wenn Tests die Realität schlecht abbilden. Eine hohe Testdatenqualität und die Durchführung von Integrationstests senken sie. Auch die Automatisierung von Tests ist offenbar ein wichtiger Erfolgsfaktor für gutes SAP Testmanagement.“

 

Weiterführende Informationen:

Wir haben die Ergebnisse, die Erkenntnisse und die daraus folgenden Konsequenzen in einem IT-Onlinemagazin Expert-Talk diskutiert. Sie können hier die Aufzeichnung anschauen.