6 GRÜNDE FÜR DAS SCHEITERN VON DATA-SCIENCE-PROJEKTEN

16.09.2019 // Björn Heinen

In diesem Beitrag möchte ich auf die häufigsten Gründe für das Scheitern von Data-Science-, Machine-Learning- und Artificial-Intelligence-Projekten eingehen. Die Liste ist selbstredend nicht vollständig, deckt aber meiner Einschätzung und Erfahrung nach die größten Fallstricke ab.

1. Die Daten

Ich fange mit der Hemmschwelle an, die zwar die offensichtlichste ist, aber entgegen gängiger Wahrnehmung bei weitem nicht die schlimmste: Die Datenqualität und -quantität. In so gut wie allen Unternehmen werden Daten gespeichert, nur welche und wie liebevoll unterscheidet sich. Wenn während meiner bisherigen Projekte Probleme aufgetreten sind, dann selten, weil es die nötigen Daten nicht gab (dafür führt man Erstgespräche und Workshops). Gelegentlich gab es Schwierigkeiten, weil die Qualität unzureichend war (aber dafür hat man Filterfunktionen und Data Scientists). Meist lag es daran, dass die Daten nicht in der erwarteten Form vorhanden waren.

E-Mails wurden zwar gespeichert – aber nur als Scan eines Ausdrucks der E-Mail. Maschinendaten wurden nicht direkt von der Maschine bezogen und kontinuierlich in eine Datenbank überführt, sondern vom Display abgelesen und manuell in Excel-Sheets (oder auf Papier!) eingetragen. Fraud-Label, die kennzeichnen sollen, ob ein Online-Einkauf ein Betrugsversuch war, enthielten nur die Information, ob die erste Rechnung bezahlt wurde oder nicht. Und so weiter. Die Krux liegt darin, dass einigen Mitarbeitern im Unternehmen sehr wohl bewusst ist, in welcher Form die Daten vorliegen, nur eben nicht unbedingt dem Entscheidungsträger, der das Machine-Learning-Projekt vorantreiben will.

2. Der Preis

Für manche Machine-Learning-Projekte ist der Preis kein Hindernis. Die Datenlage ist gut, das Problem klar und überschaubar, die Lösung daher schnell entwickelt und integriert. Die Projektkosten sind überschaubar und amortisieren sich dank des Mehrwerts schnell. Spannender sind die Projekte, die zwar schnell einen sechs- oder siebenstelligen Mehrwert schaffen, aber dementsprechend auch viel komplexer, aufwändiger und damit teurer sind. Das Hindernis ist nicht die Kosten/Nutzen-Rechnung - die fällt meist großartig aus. Das Hindernis ist oft, dass es bei Beginn eines Data-Science-Projekts keine Garantie gibt, dass das Projekt erfolgreich sein wird. Ob die Daten hinreichend sind, um ein Machine-Learning-Modell mit hinreichender Güte anzulernen, weiß man immer erst, wenn man alle Daten konsolidiert hat und ein Minimum an Feature Engineering und Data Cleansing betrieben hat. Wie soll man eine komplette Pipeline evaluieren können, ohne sie in ihren Grundzügen einmal auf die Beine gestellt und ausgeführt zu haben?

Dieser Proof-of-Concept-Prozess bietet jedoch schon allein einen Mehrwert für jedes Unternehmen, weil Erkenntnisse über die Datenlage, Datenqualität und Unternehmensprozesse inklusive Abweichungen von den bisherigen Annahmen gewonnen werden können, genauso wie Handlungsempfehlungen für die Zukunft. Aber aus Sicht vieler Entscheidungsträger kann unabhängig von gewonnenen (zukunftsweisenden) Erkenntnissen der Weg gar nicht das Ziel sein, sondern es muss von vorneherein die Sicherheit bestehen, dass das Ziel erreicht wird. Ansonsten wird der erste Schritt gar nicht erst in Erwägung gezogen. Die Unternehmenskultur ist in dieser Hinsicht – gerade in Deutschland – nach wie vor sehr risikoscheu.

3. Der Data Scientist

Das Problem ist nicht immer in den eigenen Reihen zu finden - leider. Es ist seit seit einiger Zeit eine besorgniserregende Dynamik zu beobachten und diese wird sich in den kommenden Jahren eher verschlechtern als verbessern. Dadurch, dass mehr und mehr Unternehmen den Wert ihrer Daten begreifen, sind Data Scientists ein rares Gut und das Gehaltsniveau kennt dementsprechend nur eine Richtung: nach oben. Nimmt man jetzt noch die Harvard Business Review hinzu, die den Data Scientist zum ‚Sexiest Job of the 21st Century‘ ausgerufen hat plus dem Hype, der das Thema ohnehin begleitet, ist es kein Wunder, dass es immer mehr Menschen gibt, die sich Data Scientist auf die Visitenkarte schreiben.

Der Haken ist, dass sich das Angebot an ‚echten‘ Data Scientists, die fundierte Kenntnisse in linearer Algebra, Stochastik, Algorithmik, Software Engineering, Evaluationsmethodik und vielem mehr besitzen, sehr viel langsamer entwickelt als der Markt solcher, die nach ein paar Online-Kursen und einer Lektüre zu dem Thema glauben, dass sie über das nötige Handwerk für alle Anwendungsfälle verfügen. Verstehen Sie mich bitte nicht falsch: Man kann sich Data-Science-Kenntnisse auch vollkommen autodidaktisch erarbeiten. Es ist nur deutlich schwerer, als es streckenweise geglaubt und praktiziert wird. Das große und einzigartige Problem an der Sache ist, dass es sehr einfach ist, Machine Learning falsch zu praktizieren und gleichzeitig für Außenstehende sehr schwer zu beurteilen ist, ob denn nun fachlich korrekt gearbeitet wurde oder eben nicht. Insbesondere bei der Evaluationsmethodik ist größte Vorsicht geboten, da Trainings- und Testdatensätze unter der Berücksichtigung einer Vielzahl von Parametern gewählt werden müssen. Das ist immerhin auch der kleine Lichtblick für alle, die beurteilen wollen, ob ein Data Scientist wirklich weiß, was er tut: Ein Data Scientist, der nicht vom Fach ist, wird sein Modell beim Anlernen nicht ordentlich evaluieren (können) und dann überrascht sein, dass es im produktiven Einsatz so deutlich anders performt als er es erwartet hätte. Noch ein bisschen offensichtlicher wird es, wenn er oder sie Projekte grundsätzlich gar nicht erst mit dem Ziel angeht, sich zum Projektende im Produktivbetrieb zu befinden.

4. Die Akzeptanz

In vielen Branchen sind Erklärbarkeit und Nachvollziehbarkeit so unabdingbar, dass das großartigste Machine-Learning-Modell nicht eingesetzt wird, wenn niemand versteht, wie es zu seinen Ergebnissen kommt. Bei manchen Problemstellungen, beispielsweise in der Finanzindustrie, ist die Nachvollziehbarkeit sogar gesetzlich vorgeschrieben. Datengetriebene Entscheidungen fällt man hier nur mit solchen Modellen, die auch vom Menschen direkt verstanden werden können. Dafür opfert man üblicherweise Differenzierungskraft und Vorhersagepräzision, aber einen Tod muss man nun mal sterben. Ich möchte mit diesem Punkt auch eher die Use Cases ins Licht rücken, bei denen Nachvollziehbarkeit eigentlich gar nicht gegeben sein müsste, aber bei denen einige wenige falsche Prognosen des Modells zu unumkehrbarem Misstrauen führen. Dass die Expertenschätzungen, mit denen ansonsten gearbeitet wird, im Durchschnitt signifikant weniger präzise sind als die vom Modell berechneten Werte, spielt dann keine Rolle mehr. Schließlich ist bei diesen wenigstens nachvollziehbar, wie sie zustande gekommen sind. Hauptsache keine Zahlen aus einer Black Box.

5. Das Verständnis

Data Science, Data Mining, Machine Learning, Artificial Intelligence, … Das sind alles Begriffe, die es zwar schon seit langem gibt, die aber erst seit wenigen Jahren eine breite Aufmerksamkeit genießen. So kommt es auch, dass die Erwartungen und das Verständnis während Data-Science-Projekten nicht immer ganz mit der Realität zusammenpassen. Randall Munroe hat einen Teil dieses Problems ganz hervorragend in einem seiner Comics aufgegriffen: https://xkcd.com/1425/.

Wieviel Aufwand hinter unterschiedlichen Entwicklungsschritten steht, wird oft genauso falsch eingeschätzt wie das greifbare Ergebnis dieser Schritte. Hierzu eine kurze Anekdote: Wir wurden von einem Kunden beauftragt, ein Anomalie-Erkennungssystem für ein Kanalsystem zu entwickeln, also die Antwort auf die Frage: Passiert in unserer Kanalisation irgendetwas, das deutlich außerhalb der Norm ist und worauf wir reagieren sollten? Nach erfolgreichem Proof of Concept haben wir dem Kunden die Ergebnisse des Algorithmus vorgestellt, bei denen auch wir recht sicher waren, dass sie Anomalien darstellten. Die Antwort auf die Ergebnisse konzentrierte sich aber nicht nur auf deren Qualität, sondern auch auf deren Verwendung. Eine simple Business-Intelligence-Applikation, die den Output des Algorithmus interaktiv visualisiert, räumte dann alle Bedenken aus und es konnte über die Treffsicherheit des Algorithmus und die nächsten Schritte gesprochen werden.

6. Das Commitment

Parallel zum Preis hängt auch die Wichtigkeit des Commitments innerhalb des Unternehmens von der Komplexität des zu lösenden Problems ab. Kleine Projekte, die nur eine Handvoll Mitarbeiter betreffen, bedürfen keines besonderen Commitments, die Lösung wird einfach entwickelt und in Betrieb genommen. Hingegen müssen bei größeren Projekten beispielsweise mehrere Abteilungen involviert, Infrastruktur geschaffen, technische Rückstände behoben, Prozesse geändert und die Geschäftsführung mit ins Boot geholt werden. Geht ein großes Data-Science-Projekt von einer einzelnen Fachabteilung aus, erhält aber keine Rückendeckung von anderen Abteilungen (unabhängig davon, ob diese auch davon profitieren würden) und insbesondere vom Management, werden lösbare Probleme zu unlösbaren Problemen. Zu diesem Thema habe ich auch eine Blog-Reihe geschrieben, die sich auf die so genannte Datenstrategie konzentriert (Teil 1, Teil 2, Teil 3). Eine solche im Unternehmen etabliert zu haben, eliminiert viele Probleme bezüglich Commitment.