Wie ein KI-Assistent bei der Entwicklungsagentur Rheinland-Pfalz funktioniert

Avatar von Marcus Schwarze

Er ist seit Monaten auf der Webseite im Einsatz: der KI-Assistent der Entwicklungsagentur Rheinland-Pfalz (EA). Die Maschine beantwortet Fragen zu Projekten der EA. Dazu gehört häufiger die Frage, wie dieser KI-Chatbot realisiert wurde.

Da muss­te er bis­her pas­sen, denn mit die­sen Infor­ma­tio­nen hat­ten wir ihn bis­her nicht aus­ge­stat­tet. Hier die Antworten.

Der KI-Assis­tent wur­de mit­hil­fe eines Dienst­leis­ters aus den USA, Typ­ing­Mind, rea­li­siert. Das Start-up stellt im Zusam­men­spiel mit dem IT-Dienst­leis­ter der EA in Mainz den Rah­men unter der Adres­se ki​.ea​-rlp​.de zur Ver­fü­gung – also die Mecha­nik für den Auf­bau der Web­sei­te. Dazu gehö­ren das Ein­ga­be­feld für Lese­rin­nen und Leser und die wei­te­re Kom­mu­ni­ka­ti­on mit einer sepa­rat ange­bun­de­nen KI. Der Dienst läuft auf Ser­vern in Frankfurt.

Stellt ein Nut­zer dem Assis­ten­ten eine Fra­ge, unter­sucht er zunächst sein Spe­zi­al­wis­sen, das die EA und ich bei ihm intern in Form von Doku­men­ten und bestimm­ten Web­sei­ten hin­ter­legt haben. Das Spe­zi­al­wis­sen beinhal­tet zum Bei­spiel die jüngs­ten Tätig­keits­be­rich­te der EA, Links zu ein­zel­nen Pro­jekt­web­sei­ten, aber auch zu Stel­len­aus­schrei­bun­gen. Damit wur­de der Assis­tent trai­niert. Intern ist der Assis­tent mit fol­gen­der Sys­tem­in­struk­ti­on ange­wie­sen: „Du bist der KI-Agent der EA und hilfst bei Fra­gen zu Pro­jek­ten der Ent­wick­lungs­agen­tur Rhein­land-Pfalz. Bezie­he Dich nur auf Doku­men­te aus den Trai­nings­da­ten. Ant­wor­te stets wahr­heits­ge­treu und vollständig.“

Aus die­sem hin­ter­leg­ten Wis­sen schöpft der Assis­tent sei­ne Ant­wort – anders als bei­spiels­wei­se ChatGPT des US-Unter­neh­mens Open AI. Den­noch spielt Open AI auch bei unse­rem Assis­ten­ten eine Rol­le: Die KI wird über einen soge­nann­ten API-Zugang ange­zapft und mit dem Spe­zi­al­wis­sen der EA ange­rei­chert. Damit ist der EA-Assis­tent immer auf dem jüngs­ten Stand der hin­ter­leg­ten Doku­men­te. ChatGPT bei Open AI hat zwar mitt­ler­wei­le auch über die EA Din­ge dazu­ge­lernt, teil­wei­se datie­ren die Infor­ma­tio­nen jedoch auf älte­ren Besu­chen eines ChatGPT-Robots auf der EA-Webseite.

Freie Wahl des verwendeten KI-Modells

Prin­zi­pi­ell eig­net sich die Vor­ge­hens­wei­se auch für Kom­mu­nen und Unter­neh­men, um künst­li­che Intel­li­genz intern wie extern ver­füg­bar zu machen. Bei der EA ist es auch intern im Ein­satz. Mit­ar­bei­ten­de kön­nen aus meh­re­ren KI-Model­len aus­wäh­len. Der nach außen sicht­ba­re EA-Assis­tent nutzt das Modell GPT-4o. Hier wären auch ande­re Ver­sio­nen und Anbie­ter wie Goog­le Gemi­ni oder Clau­de von Anthro­pic mög­lich. Zudem ist für die inter­ne Nut­zung das Anle­gen eige­ner spe­zia­li­sier­ter Assis­ten­ten mög­lich – sei es für einen Reden­schrei­ber oder einen Pres­se­mit­tei­lungs­dienst. Hier kön­nen außer­dem eige­ne Prompts ange­legt und wie­der­ver­wen­det wer­den. Die Prompts sind zusätz­lich durchsuchbar.

Chats des EA-Assis­ten­ten mit Lese­rin­nen und Lesern der EA-Web­sei­te wer­den intern und anony­mi­siert auf­ge­zeich­net. Durch regel­mä­ßi­ge Prü­fung wur­den so auch Fra­gen aus­fin­dig gemacht, auf die der Ass­sis­tent bis­her kei­ne prä­zi­se Ant­wort lie­fer­te – so auch zu der Fra­ge, wie er rea­li­siert wur­de. Dies kann der Assis­tent nun eben­falls beant­wor­ten: Die EA legt ihm die­sen Text als wei­te­re Trai­nings­grund­la­ge vor.

Monatliche Kosten

Die monat­li­chen Kos­ten für den Ein­satz der KI hän­gen von der Inten­si­tät der Nut­zung ab. Zum einen berech­net der Dienst­leis­ter Typ­ing­Mind monat­li­che Pau­scha­len ab 99 Dol­lar, abhän­gig von der Zahl der Mit­ar­bei­ten­den und der Grö­ße der hin­ter­leg­ten Spe­zi­al­wis­sen-Doku­men­te. Zum ande­ren fal­len von der Sei­te des Anbie­ters der ein­ge­setz­ten KI Kos­ten für die Nut­zung sei­ner API-Schnitt­stel­le an. Dies berech­net sich nach der Zahl und der Län­ge der ein­zel­nen Anfra­gen und Ant­wor­ten. Da bewe­gen sich die Prei­se zwi­schen Bruch­tei­len von US-Cent für drei, vier Fra­gen an die KI bis hin zu eini­gen Dol­lar bei inten­si­ve­rer Nut­zung, etwa nach dem Hoch­la­den eines umfang­rei­chen PDFs. Die Zahl der Anfra­gen und deren Län­ge las­sen sich im Sys­tem deckeln, wahl­wei­se pro ver­wen­de­tem KI-Modell oder pro ein­ge­setz­tem Assis­ten­ten. Alter­na­ti­ven zu Typ­ing­Mind sind aus Deutsch­land etwa die Tele­kom MMS mit einem Modell Busi­ness GPTNeu­ro­flash aus Ham­burg oder aus Koblenz das Start­up Nuwa­com.

Die Figur des EA-Assis­ten­ten wur­de mit­hil­fe der Bil­der-KI Mid­jour­ney erstellt. Der Prompt dafür lautete: 

minimalist logo, AI assistant robot head, simplified geometric shapes, white and burgundy color scheme with gray accents, Entwicklungsagentur Rheinland-Pfalz logo incorporated, professional and businesslike style, vector format

Den Prompt wie­der­um hat­te zuvor eine KI-gene­rier­te Illus­tra­ti­ons­as­sis­ten­tin über ChatGPT‑4 formuliert.