Marcus Schwarze Consulting

Schlagwort: Entwicklungsagentur

  • Wie ein KI-Assistent bei der Entwicklungsagentur Rheinland-Pfalz funktioniert

    Wie ein KI-Assistent bei der Entwicklungsagentur Rheinland-Pfalz funktioniert

    Da muss­te er bis­her pas­sen, denn mit die­sen Infor­ma­tio­nen hat­ten wir ihn bis­her nicht aus­ge­stat­tet. Hier die Antworten.

    Der KI-Assis­tent wur­de mit­hil­fe eines Dienst­leis­ters aus den USA, Typ­ing­Mind, rea­li­siert. Das Start-up stellt im Zusam­men­spiel mit dem IT-Dienst­leis­ter der EA in Mainz den Rah­men unter der Adres­se ki​.ea​-rlp​.de zur Ver­fü­gung – also die Mecha­nik für den Auf­bau der Web­sei­te. Dazu gehö­ren das Ein­ga­be­feld für Lese­rin­nen und Leser und die wei­te­re Kom­mu­ni­ka­ti­on mit einer sepa­rat ange­bun­de­nen KI. Der Dienst läuft auf Ser­vern in Frankfurt.

    Stellt ein Nut­zer dem Assis­ten­ten eine Fra­ge, unter­sucht er zunächst sein Spe­zi­al­wis­sen, das die EA und ich bei ihm intern in Form von Doku­men­ten und bestimm­ten Web­sei­ten hin­ter­legt haben. Das Spe­zi­al­wis­sen beinhal­tet zum Bei­spiel die jüngs­ten Tätig­keits­be­rich­te der EA, Links zu ein­zel­nen Pro­jekt­web­sei­ten, aber auch zu Stel­len­aus­schrei­bun­gen. Damit wur­de der Assis­tent trai­niert. Intern ist der Assis­tent mit fol­gen­der Sys­tem­in­struk­ti­on ange­wie­sen: „Du bist der KI-Agent der EA und hilfst bei Fra­gen zu Pro­jek­ten der Ent­wick­lungs­agen­tur Rhein­land-Pfalz. Bezie­he Dich nur auf Doku­men­te aus den Trai­nings­da­ten. Ant­wor­te stets wahr­heits­ge­treu und vollständig.“

    Aus die­sem hin­ter­leg­ten Wis­sen schöpft der Assis­tent sei­ne Ant­wort – anders als bei­spiels­wei­se ChatGPT des US-Unter­neh­mens Open AI. Den­noch spielt Open AI auch bei unse­rem Assis­ten­ten eine Rol­le: Die KI wird über einen soge­nann­ten API-Zugang ange­zapft und mit dem Spe­zi­al­wis­sen der EA ange­rei­chert. Damit ist der EA-Assis­tent immer auf dem jüngs­ten Stand der hin­ter­leg­ten Doku­men­te. ChatGPT bei Open AI hat zwar mitt­ler­wei­le auch über die EA Din­ge dazu­ge­lernt, teil­wei­se datie­ren die Infor­ma­tio­nen jedoch auf älte­ren Besu­chen eines ChatGPT-Robots auf der EA-Webseite.

    Freie Wahl des verwendeten KI-Modells

    Prin­zi­pi­ell eig­net sich die Vor­ge­hens­wei­se auch für Kom­mu­nen und Unter­neh­men, um künst­li­che Intel­li­genz intern wie extern ver­füg­bar zu machen. Bei der EA ist es auch intern im Ein­satz. Mit­ar­bei­ten­de kön­nen aus meh­re­ren KI-Model­len aus­wäh­len. Der nach außen sicht­ba­re EA-Assis­tent nutzt das Modell GPT-4o. Hier wären auch ande­re Ver­sio­nen und Anbie­ter wie Goog­le Gemi­ni oder Clau­de von Anthro­pic mög­lich. Zudem ist für die inter­ne Nut­zung das Anle­gen eige­ner spe­zia­li­sier­ter Assis­ten­ten mög­lich – sei es für einen Reden­schrei­ber oder einen Pres­se­mit­tei­lungs­dienst. Hier kön­nen außer­dem eige­ne Prompts ange­legt und wie­der­ver­wen­det wer­den. Die Prompts sind zusätz­lich durchsuchbar.

    Chats des EA-Assis­ten­ten mit Lese­rin­nen und Lesern der EA-Web­sei­te wer­den intern und anony­mi­siert auf­ge­zeich­net. Durch regel­mä­ßi­ge Prü­fung wur­den so auch Fra­gen aus­fin­dig gemacht, auf die der Ass­sis­tent bis­her kei­ne prä­zi­se Ant­wort lie­fer­te – so auch zu der Fra­ge, wie er rea­li­siert wur­de. Dies kann der Assis­tent nun eben­falls beant­wor­ten: Die EA legt ihm die­sen Text als wei­te­re Trai­nings­grund­la­ge vor.

    Monatliche Kosten

    Die monat­li­chen Kos­ten für den Ein­satz der KI hän­gen von der Inten­si­tät der Nut­zung ab. Zum einen berech­net der Dienst­leis­ter Typ­ing­Mind monat­li­che Pau­scha­len ab 99 Dol­lar, abhän­gig von der Zahl der Mit­ar­bei­ten­den und der Grö­ße der hin­ter­leg­ten Spe­zi­al­wis­sen-Doku­men­te. Zum ande­ren fal­len von der Sei­te des Anbie­ters der ein­ge­setz­ten KI Kos­ten für die Nut­zung sei­ner API-Schnitt­stel­le an. Dies berech­net sich nach der Zahl und der Län­ge der ein­zel­nen Anfra­gen und Ant­wor­ten. Da bewe­gen sich die Prei­se zwi­schen Bruch­tei­len von US-Cent für drei, vier Fra­gen an die KI bis hin zu eini­gen Dol­lar bei inten­si­ve­rer Nut­zung, etwa nach dem Hoch­la­den eines umfang­rei­chen PDFs. Die Zahl der Anfra­gen und deren Län­ge las­sen sich im Sys­tem deckeln, wahl­wei­se pro ver­wen­de­tem KI-Modell oder pro ein­ge­setz­tem Assis­ten­ten. Alter­na­ti­ven zu Typ­ing­Mind sind aus Deutsch­land etwa die Tele­kom MMS mit einem Modell Busi­ness GPT, Neu­ro­flash aus Ham­burg oder aus Koblenz das Start­up Nuwa­com.

    Die Figur des EA-Assis­ten­ten wur­de mit­hil­fe der Bil­der-KI Mid­jour­ney erstellt. Der Prompt dafür lautete: 

    minimalist logo, AI assistant robot head, simplified geometric shapes, white and burgundy color scheme with gray accents, Entwicklungsagentur Rheinland-Pfalz logo incorporated, professional and businesslike style, vector format

    Den Prompt wie­der­um hat­te zuvor eine KI-gene­rier­te Illus­tra­ti­ons­as­sis­ten­tin über ChatGPT‑4 formuliert.

  • Neue KI-Chatbots machen weniger Fehler

    Neue KI-Chatbots machen weniger Fehler

    Entwicklungsschritte: Besser werden

    Lei­der waren die ers­ten Ergeb­nis­se ernüch­ternd. Doch jetzt, im Früh­jahr 2024, macht es die KI deut­lich bes­ser. Die KIs wer­den stän­dig wei­ter­ent­wi­ckelt, neu trai­niert, die Algo­rith­men ver­ste­hen bes­ser, was ein Mensch im Chat erfragt. Und ent­spre­chend ange­lei­tet und ein­ge­stellt, hal­lu­zi­nie­ren die Bots weni­ger, erfin­den sel­te­ner Din­ge hin­zu. Eine KI bringt zunächst ihr vom Her­stel­ler antrai­nier­tes Welt­wis­sen mit. Was ihr fehlt, ist Spe­zi­al­wis­sen für bestimm­te Zwecke.

    Wissenslücken: Spezialisieren und anpassen

    Zum Bei­spiel zu För­der­ver­fah­ren. Wer die Häu­fig gestell­ten Fra­gen (FAQ) zum Wie­der­auf­bau in Rhein­land-Pfalz aus­druckt, bekommt allein bei den Infor­ma­tio­nen für Pri­vat­per­so­nen an die 42 DIN-A4-Sei­ten. Das wäre viel Lek­tü­re – und eine gute Samm­lung für einen Chat­bot, der das Doku­ment kom­plett erfasst und Fra­gen dazu beant­wor­tet. Zum Bei­spiel zu der Fra­ge, wie man als Betrof­fe­ner Geld bean­tra­gen kann und wel­che Vor­aus­set­zun­gen gel­ten, um eine För­de­rung zu bekom­men. 15 Mil­li­ar­den Euro ste­hen in Rhein­land-Pfalz zur Ver­fü­gung. Damit alles gerecht und mit rech­ten Din­gen zugeht, gel­ten Regeln für vor­zu­le­gen­de Nach­wei­se, Fris­ten und Grenzen. 

    Ernüchternde Anfänge: Fehler einräumen

    Die ers­ten Tests der Ent­wick­lungs­agen­tur vor einem Jahr mit KI-Sys­te­men waren ernüch­ternd. Bei Diens­ten wie MyAs­kAI und Dan­te AI konn­ten wir zwar die FAQ hin­ter­le­gen. Doch die Ant­wor­ten der anschlie­ßend bereit­ge­stell­ten Chat­bots, die man in eine Web­sei­te hät­te ein­bau­en kön­nen, waren feh­ler­haft. Mal erfand die Maschi­ne Ober­gren­zen, die in den FAQ nicht genannt waren, mal ver­rech­ne­te sie sich, wenn für einen sechs­köp­fi­gen Haus­halt der zer­stör­te Haus­rat ersetzt wer­den sollte. 

    Da ist etwa in den FAQ für den Ersatz von Haus­rat aus­drück­lich von 13.000 Euro für die ers­te im Haus­halt gemel­de­te Per­son die Rede, 8.500 Euro für die zwei­te Per­son und 3.500 Euro für jede wei­te­re Per­son. Bei sechs Leu­ten ergibt das 35.500 Euro – und die KI errech­ne­te statt­des­sen mal 32.000 Euro, mal 28.500 Euro. Für eine „offi­zi­el­le“ KI, waren und sind sol­che Rechen­feh­ler into­le­ra­bel, selbst wenn man dazu schreibt, dass die KI feh­ler­haf­te Ant­wor­ten lie­fern kann.

    Fortschritt messen: Präziser antworten

    In den ver­gan­ge­nen Mona­ten hat sich die KI stark wei­ter­ent­wi­ckelt. Die Qua­li­tät der Ant­wor­ten wur­de viel­fach ver­bes­sert. Zwar ist ChatGPT wei­ter­hin eine „Black Box“, aus der für Außen­ste­hen­de nicht ersicht­lich ist, wie sie auf ihre Ant­wor­ten kommt. Doch erge­ben sich in vie­len Ver­su­chen neu­er­dings prä­zi­se­re und zuneh­mend feh­ler­freie Ergeb­nis­se. So auch bei unse­rem expe­ri­men­tel­len „Wie­der­auf­bau­GPT“.

    Dialoge testen: Umgangssprache verstehen

    „Mein Haus ist hin. Wie viel Koh­le gibt’s?“ So bur­schi­kos und umgangs­sprach­lich lau­tet seit Jahr und Tag unse­re Ein­stiegs­fra­ge beim Tes­ten diver­ser KIs im Zusam­men­spiel mit den FAQ. Das Ergeb­nis nennt heu­te, im Früh­jahr 2024, rich­ti­ger­wei­se die För­der­sät­ze für den Ersatz vom ver­lo­re­nen Haus­rat und die bis zu 80 Pro­zent hohe För­de­rung für den Wie­der­auf­bau eines zer­stör­ten Hauses. 

    Inter­es­sant wer­den Ant­wor­ten im wei­te­ren Ver­lauf: Auf fik­ti­ve Neu­bau­kos­ten von 500.000 Euro berech­net die KI rich­ti­ger­wei­se aus den bis zu 80 Pro­zent För­der­geld eine Sum­me von 400.000 Euro. Bei sechs gemel­de­ten Per­so­nen im Haus­halt kommt die KI zusätz­lich für den Haus­rat auf 35.500 Euro. Und selbst bei dem aus­ge­dach­ten Ereig­nis, dass einen Monat nach der Kata­stro­phe Zwil­lin­ge gebo­ren wur­den, zählt die Maschi­ne eins und eins zusam­men: Eine Bestim­mung besagt, dass jün­ge­re Kin­der hin­zu­zu­rech­nen sind, sofern sie vor dem 15. Janu­ar 2022 gebo­ren wurden.

    Unterm Strich erge­ben sich durch sol­che prä­zi­se­ren KIs viel­fäl­ti­ge Mög­lich­kei­ten fürs Über­set­zen von Bestim­mun­gen und Verfahrensregeln. 

    Zugangsbarrieren: Kosten aufdecken

    Getrübt wird die­se Ein­schät­zung aller­dings durch die Geschäfts­mo­del­le der ame­ri­ka­ni­schen KI-Diens­te. Der oben ver­link­te Chat ist zwar zum Nach­le­sen frei zugäng­lich; wer die­se spe­zia­li­sier­te Wie­der­auf­bau­GPT-KI ein­mal selbst aus­pro­bie­ren woll­te, müss­te Abon­nent des kos­ten­pflich­ti­gen ChatGPT‑4 sein. Die Kos­ten betra­gen 20 US-Dol­lar im Monat. Dann steht die Wie­der­auf­bau­GPT-KI unter der Adres­se https://chat.openai.com/g/g‑JeZDrcxUE-wiederaufbaugpt zur Ver­fü­gung. Ach­tung, die Anwen­dung ist wei­ter­hin nur expe­ri­men­tell; die FAQ wer­den immer mal wie­der ergänzt, in unse­rem Test-Bot aller­dings nicht aktua­li­siert. Es bleibt ein Test.

    Technische Hürden: Integration ermöglichen

    Das Unter­neh­men Ope­nAI bie­tet für die auf sei­ner Web­sei­te ange­bo­te­nen KI-Diens­te kei­ne Mecha­nik an, den bereit­ge­stell­ten Chat­bot auf einer frem­den Web­sei­te wie wie​der​auf​bau​.rlp​.de ein­zu­bau­en. Das aller­dings wäre eine wich­ti­ge Vor­aus­set­zung für die Nut­zung die­ser KI. Über ande­re tech­ni­sche Wege, Stich­wort API-Anbin­dung und Hin­ter­le­gen von eige­nen Trai­nings­da­ten, wäre ein sol­ches Wid­get mög­lich – sei es für bestimm­te FAQ, gezielt gecrawl­te Web­sei­ten-Inhal­te und bereit­ge­stell­te PDF-Sammlungen.

    Zukunftsaussichten: Weiterentwickeln und prüfen 

    Nötig wird dann auch eine erprob­te Nach­ver­fol­gung: Wenn ein Bot auf einer Web­sei­te Ant­wor­ten gibt, soll­te er nicht unbe­ob­ach­tet blei­ben. Es braucht Pro­to­kol­le und nach­träg­li­che Prü­fun­gen. Gege­be­nen­falls müs­sen hin­ter­leg­te Doku­men­te auf­grund der gewon­ne­nen Erfah­rung anders for­mu­liert wer­den. Doch wenn sich die KIs so wei­ter­ent­wi­ckeln wie in den ver­gan­ge­nen Mona­ten, erge­ben sich viel­sei­ti­ge neue Bots, die sich sel­te­ner als bis­her ver­rech­nen oder Falschaus­künf­te geben. Die Tests und Bewer­tun­gen der Ergeb­nis­se gehen weiter.