(openPR) München/Möhrendorf, 22. August 2013 – Zwei Fachmänner im Bereich Softwaretests interviewen sich gegenseitig: Georg Hansbauer hat 2011 zusammen mit Philipp Benkler und Markus Steinhauser die erfolgreiche Crowdtesting-Plattform Testbirds gegründet, die er gemeinsam mit Benkler als Geschäftsführer leitet. Tilo Linz ist Mitgründer und im Vorstand bei imbus, einem der profiliertesten spezialisierten Dienstleister für Software-Qualitätssicherung seit mittlerweile über 20 Jahren. Ihre Themen: Wo liegen die Stärken beider Testoutsourcing-Ansätze? Wie lassen sie sich kombinieren? Welche Entwicklungen in Sachen Software-Tests sind in Zukunft zu erwarten?
Georg Hansbauer: Kleines Experiment: Ich beginne einen Satz und Sie vervollständigen ihn. „Tilo Linz und die imbus AG halten crowdbasiertes Softwaretesting für sinnvoll, weil. . .“
Tilo Linz: …es systematisches, unabhängiges Testing eines Beratungshauses perfekt ergänzt.
Hansbauer: Inwiefern?
Linz: Das Softwaretesten durch einen externen Spezialisten wie imbus fußt auf dem fachlichen Know-how von professionellen, qualifizierten Softwaretestern. Und es setzt als Prozess schon weit vor dem eigentlichen Testen, nämlich bei der Beratung von Softwareentwicklungs-Teams an. Die Testspezialisten haben die Kompetenz um einschätzen zu können, wie der Test ausgerichtet sein sollte und in welchem Umfang man ihn am besten ausführt. Sie kennen die relevanten gesetzlichen Anforderungen und die Normen, die in der jeweiligen Branche eingehalten werden müssen. Zum Beispiel in der Medizin-, der Automobil- oder der Bahntechnik gelten ja strikte Vorgaben. Die nächsten Schritte der Testspezialisten: den Testablauf planen, die nötigen Testfälle definieren und Tools, Testumgebungen und Testdaten bereitstellen. Dann automatisieren sie die Testfälle. Das eigentliche Durchführen bzw. Abspulen der so vorbereiteten Tests ist daraufhin Routine und dank der automatisierten Tests oft der kleinste Teil der Arbeit. Danach kommt die Auswertung. Außerdem wird beim Testexperten-gestützten Testen der Software-Hersteller auch beraten, was er und sein Entwicklungsteam in Zukunft besser machen können, damit sein Produkt von vorneherein weniger Fehler enthält. Beim Crowdtesten sind die Tester dagegen größtenteils bewusst Laien. Ihre Aufgabe: Sie testen und beurteilen Software aus dem Blickwinkel der Endanwender. Bedient sich die Software so, wie sich das ein Benutzer im Alltag vorstellt? Das sind ganz subjektive Bewertungen, die aber durch eine repräsentative Gruppe von potentiellen Anwendern gut eingefangen werden können. Das wird durch Crowdtesting sehr gut ermöglicht, insbesondere bei endkundenorientierter Software und Smartphone-Apps.
Hansbauer: Am besten und anschaulichsten lässt sich Crowdtesting anhand eines Beispiels erklären.
Linz: Nehmen wir den konkreten Fall, ein Sportartikelhersteller entwickelt eine neue App, mit der Anwender ihre Fitnessdaten erfassen und kontrollieren können. Solche Apps gibt es schon einige. Die Gefahr besteht, dass die App im Apple App Store oder Google Play Store untergeht, wenn sie nicht auf Anhieb überzeugt. Um das zu verhindern, muss die App getestet werden. Zum einen durch einen gründlichen Systemtest, in dem die Funktionalität, aber auch zum Beispiel Datenschutzbestimmungen, Performance-Aspekte und Kompatibilität überprüft werden, und ergänzend durch einen Crowdtest. Entsprechend der Anwender-Zielgruppe wählen wir als Crowdtest-Team eine Gruppe von Sportlern unterschiedlicher Disziplinen und Leistungsstufen aus: vom Einsteiger, über den Sport-Wiedereinsteiger, bis zum leistungsorientierten Sportler, Männer wie Frauen, die verschiedene Endgeräte benutzen. Jeder in der Crowd bekommt die neue App auf sein privates mobiles Endgerät. Dann arbeiten alle für einen absteckten Zeitraum damit. Der Sportartikelhersteller bekommt schon innerhalb weniger Tage Feedback über seine App – und das genau aus der Zielgruppe, die die App auch später nutzen soll. Dazu, wie ein Testdrehbuch beim Crowdtesten genau aussieht, können Sie ja noch mehr sagen.
Hansbauer: Das Testdrehbuch wird für jeden Kunden individuell definiert, durch einen imbus-Testspezialisten oder einen Testmanager von Testbirds. Bei einem Test können sowohl bestimmte Aspekte des Qualitätsmanagements als auch der User Experience abgefragt werden: Das Ausführen vorgegebener Testcases sowie das Finden von funktionalen Fehlern, den sogenannten Bugs, ergänzt die technisch-orientierte Qualitätssicherung einer Anwendung, während Beta-Tests und Konkurrenzstudien zu einer Marketing-orientierten Qualitätssicherung zählen, Stichwort Usability-Studien. Je nach Kundenanforderung kommt es zu einem reinen Bug- bzw. Usability-Test oder aber einem kombinierten Testablauf. Zusätzlich kann ein Bug Approval durchgeführt werden. Das bedeutet, dass identifizierte Fehler von anderen Testern auf deren Systemen reproduziert werden, um so festzustellen, ob Bugs generell auftreten oder nur in bestimmten Systemkonstellationen, auf bestimmtem Geräten oder bestimmten Testumgebungen. Für die Fitness-App aus unserem Beispiel könnte das so aussehen: In einem gemeinsamen Briefing-Gespräch werden die Testbedingungen – Bug-, Usability- oder kombinierter Test – und Fragestellungen sowie die verschiedene Gerätekombinationen für den Fitness-App-Test festgelegt und die Zielgruppe ausgewählt. Neben quantitativen Fragestellungen, z.B. „Bewerte die Fitness-App auf einer Skala von 1 bis 6“, könnten den Testern qualitative Fragen, z.B. „Was gefällt Dir an der Fitness-App besonders?“, gestellt werden. Das sind die Zutaten für ein Testsetup und die groben Rahmenbedingungen eines crowdbasierten Projekts. Nach dem Aufsetzen einer Testbeschreibung, z.B. „Lade Dir die Fitness-App herunter, mache Dich mit der Fitness-App vertraut, nutze die App beim Fahrradfahren/ in den Bergen/ im Fitnessstudio, minimiere die App, etc.“, erfolgt die komplette Umsetzung und Abwicklung innerhalb weniger Tage: Die sportaffine Crowd prüft auf ihren eigenen Endgeräten die Fitness-App auf Herzen und Nieren und hält Beobachtungen sowie Eindrücke fest. Diese Ergebnisse werden im Anschluss auf Vollständigkeit und Ausführlichkeit geprüft. Die Tester müssen nämlich alle ausgeführten Schritte mit Screenshots oder Screencasts belegen. Unsere Projektmanager kontrollieren, ob alle Testanforderungen erfüllt wurden, werten dann das Feedback aus und formulieren konkrete Handlungsempfehlungen, um die Fitness-App zu optimieren.
Linz: Meiner Einschätzung nach werden sich die beiden Ansätze Crowdtesten und Experten-gestütztes Softwaretesten immer mehr aufeinander zubewegen. Beim Crowdtesten sind die Infrastruktur und das Testobjekt im Internet verfügbar. Man arbeitet online, die Crowd kann also über den ganzen Globus verstreut sein. Auch beim Testen, das sich auf Testexperten stützt, wird man in Zukunft verstärkt darauf setzen, die Testobjekte im Netz zu hinterlegen. Denn das ermöglicht einen schnellen und flexiblen Zugriff. Infolge dessen werden sich auch beim Experten-gestützten Softwaretesten die Tester räumlich voneinander entfernen können. Gleichzeitig ist abzusehen, dass ausgebildete Testspezialisten zunehmend auch in den Tester-Pools beim Crowdtesten mitwirken werden.
