Scheitern wirklich 95 Prozent aller KI-Projekte?

„95 Pro­zent aller #KI-Pilot­pro­jek­te schei­tern.😱“, schrieb Miri­am Meckel. „95 Pro­zent aller gene­ra­ti­ven AI-Pilot­pro­jek­te in Unter­neh­men ver­puf­fen ohne geschäft­li­chen Mehr­wert“, hieß es bei Flo­ri­an Resch. „95 Pro­zent der unter­such­ten KI-Anwen­dun­gen [leis­ten] bis­her kei­nen mess­ba­ren Bei­trag zum Gewinn“, die Zwei­fel an der Sinn­haf­tig­keit der KI-Inves­ti­ti­on wüch­sen, fol­ger­te Richard Schremmer.

Als die­se Stu­die des Mas­sa­chu­setts Insti­tu­te of Tech­no­lo­gy (MIT) das ers­te Mal die Run­de mach­te vor etwa zwei Mona­ten, befie­len mich natür­lich auch Zwei­fel: dass wir den KI-Ein­satz gene­rell über­schät­zen. Nach einer aus­gie­bi­gen Suche beim MIT stell­te ich fest, dass ledig­lich Inter­pre­ta­tio­nen der Unter­su­chung viral gin­gen. Das PDF selbst war und ist auf den Ser­vern des MIT bis­her nicht auf­find­bar. Erst aus zwei­ter Hand wird das PDF bei einem Anle­ger­por­tal mlq​.ai aus Toron­to her­un­ter­lad­bar.

Dar­in schrei­ben die MIT-Autoren: „Trotz eines Unter­neh­mens-Inves­ti­ti­ons­vo­lu­mens von 30 bis 40 Mil­li­ar­den US-Dol­lar in gene­ra­ti­ve KI zeigt die­ser Bericht ein über­ra­schen­des Ergeb­nis: 95 Pro­zent der Orga­ni­sa­tio­nen erzie­len kei­ne Ren­di­te.“ Das ist, wie die wei­te­re Lek­tü­re des 26-seti­gen Doku­ments ergibt, doch arg zugespitzt.

Repräsentativ geht anders

Befragt wur­den dem­nach 153 Mana­ger per Umfra­ge. Es wur­den 300 öffent­li­che KI-Initia­ti­ven aus­ge­wer­tet, und mit 52 Stake­hol­der wur­den struk­tu­rier­te Inter­views geführt. Reprä­sen­ta­tiv ist das nicht. Und wie genau frag­ten die Autoren denn? „Have you obser­ved mea­sura­ble ROI from any GenAI deploy­ment?“ Auf Deutsch: Haben Sie bei einem Ein­satz von gene­ra­ti­ver KI bereits mess­ba­re Kapi­tal- bezie­hungs­wei­se Ergeb­nis­aus­wir­kun­gen beob­ach­tet? Im Klein­ge­druck­ten zu die­ser Fra­ge Num­mer 12 aus Sek­ti­on 5 ist dann nach­zu­le­sen, dass ein „Return on Invest­ment“ (ROI) nach sechs Mona­ten gemeint war. Und die Autoren räu­men selbst­kri­tisch ein: „Eine Beobachtungs­periode von sechs Mona­ten könn­te zu kurz sein, um den Begriff ‚erfolg­rei­che Imple­men­tie­rung‘ für kom­ple­xe Unternehmens­systeme voll­stän­dig zu bewer­ten. Dies könn­te die Erfolgs­raten bei länger­fristigen Umset­zun­gen unterschätzen.“

Nun ver­set­ze ich mich wie Klein Fritz­chen ein­mal selbst in die Rol­le eines Mana­gers. Vor gerau­mer Zeit ent­schied ich mich mal für ein Invest­ment in das „Lan­guage­Tool“, einer inzwi­schen KI-gestütz­ten Rechtschreib‑, Gram­ma­tik- und Stil­kor­rek­tor. Kos­tet fünf Euro jeden Monat. Das Werk­zeug leis­tet gute Diens­te – aber „rech­net“ es sich? Der „ROI“ lässt sich nicht mathe­ma­tisch bestim­men. Tex­te wer­den bes­ser und ent­hal­ten weni­ger Feh­ler. Einen Ertrag kann ich nicht ausrechnen.

Zeitgewinn für weitere Aufgaben

Oder ein pro­fes­sio­nel­ler News­let­ter, den ich für einen Kun­den erstel­le: Vor der Ein­füh­rung von KI in mei­nem Unter­neh­men als Selb­stän­di­ger brauch­te ich dafür rund fünf Stun­den, KI redu­ziert den Auf­wand auf unge­fähr drei­ein­halb Stun­den. Ent­spre­chend kann ich weni­ger Zeit­auf­wand in Rech­nung stel­len – müss­te man nun einen nega­ti­ven ROI aus­rech­nen? Frei­lich habe ich so mehr Zeit für ande­re Auf­ga­ben. Die inves­tie­re ich nun in gele­gent­li­che Fort­bil­dungs­ver­an­stal­tun­gen, Vor­trä­ge oder ver­bes­ser­te Recher­chen für ande­re Texte.

Drit­tes Bei­spiel: Ich inves­tie­re jeden Monat rund 150 Euro in eine „eige­ne“ KI. Das Geld bekommt ein Dienst­leis­ter, der mir auf dem eige­nen Ser­ver unter ki​.schwar​ze​.info ein Set an Assis­ten­ten ermög­licht und eine Prompt-Daten­bank, samt Anbin­dung an die gro­ßen KI-Diens­te von Open AI, Gemi­ni und Co. Das gelän­ge auch für ein weni­ger teu­res Paket von die­sem Dienst­leis­ter, doch war und ist es mir wich­tig, eine eige­ne KI-Adres­se samt Bran­ding unter mei­nem Logo msc zu haben. Die­ses etwas grö­ße­re Besteck macht sich in Semi­na­ren ganz gut.

„Ganz gut“ heißt: Auch hier bleibt der Return on Invest kaum messbar.

Das Problem der harten Kennzahl

Durch die gesam­te MIT-Stu­die zieht sich die Fra­ge, ob gro­ße Unter­neh­men nach sechs, zwölf oder 24 Mona­ten einen ROI erzie­len und war­um Start-ups gele­gent­lich schon nach drei oder sechs Mona­ten ers­te Erfol­ge erzie­len. Die Mess­grö­ße aber bleibt eine so har­te Kenn­zahl, dass sie kaum zu beant­wor­ten ist. Oder, wie es ein Kol­le­ge kürz­lich bekann­te: „Ist doch schön mit der KI, dann kön­nen wir end­lich mal pünkt­lich Fei­er­abend machen.“