Schlagwort: Sprachmodelle

  • Wie ein KI-Assistent bei der Entwicklungsagentur Rheinland-Pfalz funktioniert

    Wie ein KI-Assistent bei der Entwicklungsagentur Rheinland-Pfalz funktioniert

    Da muss­te er bis­her pas­sen, denn mit die­sen Infor­ma­tio­nen hat­ten wir ihn bis­her nicht aus­ge­stat­tet. Hier die Antworten.

    Der KI-Assis­tent wur­de mit­hil­fe eines Dienst­leis­ters aus den USA, Typ­ing­Mind, rea­li­siert. Das Start-up stellt im Zusam­men­spiel mit dem IT-Dienst­leis­ter der EA in Mainz den Rah­men unter der Adres­se ki​.ea​-rlp​.de zur Ver­fü­gung – also die Mecha­nik für den Auf­bau der Web­sei­te. Dazu gehö­ren das Ein­ga­be­feld für Lese­rin­nen und Leser und die wei­te­re Kom­mu­ni­ka­ti­on mit einer sepa­rat ange­bun­de­nen KI. Der Dienst läuft auf Ser­vern in Frankfurt.

    Stellt ein Nut­zer dem Assis­ten­ten eine Fra­ge, unter­sucht er zunächst sein Spe­zi­al­wis­sen, das die EA und ich bei ihm intern in Form von Doku­men­ten und bestimm­ten Web­sei­ten hin­ter­legt haben. Das Spe­zi­al­wis­sen beinhal­tet zum Bei­spiel die jüngs­ten Tätig­keits­be­rich­te der EA, Links zu ein­zel­nen Pro­jekt­web­sei­ten, aber auch zu Stel­len­aus­schrei­bun­gen. Damit wur­de der Assis­tent trai­niert. Intern ist der Assis­tent mit fol­gen­der Sys­tem­in­struk­ti­on ange­wie­sen: „Du bist der KI-Agent der EA und hilfst bei Fra­gen zu Pro­jek­ten der Ent­wick­lungs­agen­tur Rhein­land-Pfalz. Bezie­he Dich nur auf Doku­men­te aus den Trai­nings­da­ten. Ant­wor­te stets wahr­heits­ge­treu und vollständig.“

    Aus die­sem hin­ter­leg­ten Wis­sen schöpft der Assis­tent sei­ne Ant­wort – anders als bei­spiels­wei­se ChatGPT des US-Unter­neh­mens Open AI. Den­noch spielt Open AI auch bei unse­rem Assis­ten­ten eine Rol­le: Die KI wird über einen soge­nann­ten API-Zugang ange­zapft und mit dem Spe­zi­al­wis­sen der EA ange­rei­chert. Damit ist der EA-Assis­tent immer auf dem jüngs­ten Stand der hin­ter­leg­ten Doku­men­te. ChatGPT bei Open AI hat zwar mitt­ler­wei­le auch über die EA Din­ge dazu­ge­lernt, teil­wei­se datie­ren die Infor­ma­tio­nen jedoch auf älte­ren Besu­chen eines ChatGPT-Robots auf der EA-Webseite.

    Freie Wahl des verwendeten KI-Modells

    Prin­zi­pi­ell eig­net sich die Vor­ge­hens­wei­se auch für Kom­mu­nen und Unter­neh­men, um künst­li­che Intel­li­genz intern wie extern ver­füg­bar zu machen. Bei der EA ist es auch intern im Ein­satz. Mit­ar­bei­ten­de kön­nen aus meh­re­ren KI-Model­len aus­wäh­len. Der nach außen sicht­ba­re EA-Assis­tent nutzt das Modell GPT-4o. Hier wären auch ande­re Ver­sio­nen und Anbie­ter wie Goog­le Gemi­ni oder Clau­de von Anthro­pic mög­lich. Zudem ist für die inter­ne Nut­zung das Anle­gen eige­ner spe­zia­li­sier­ter Assis­ten­ten mög­lich – sei es für einen Reden­schrei­ber oder einen Pres­se­mit­tei­lungs­dienst. Hier kön­nen außer­dem eige­ne Prompts ange­legt und wie­der­ver­wen­det wer­den. Die Prompts sind zusätz­lich durchsuchbar.

    Chats des EA-Assis­ten­ten mit Lese­rin­nen und Lesern der EA-Web­sei­te wer­den intern und anony­mi­siert auf­ge­zeich­net. Durch regel­mä­ßi­ge Prü­fung wur­den so auch Fra­gen aus­fin­dig gemacht, auf die der Ass­sis­tent bis­her kei­ne prä­zi­se Ant­wort lie­fer­te – so auch zu der Fra­ge, wie er rea­li­siert wur­de. Dies kann der Assis­tent nun eben­falls beant­wor­ten: Die EA legt ihm die­sen Text als wei­te­re Trai­nings­grund­la­ge vor.

    Monatliche Kosten

    Die monat­li­chen Kos­ten für den Ein­satz der KI hän­gen von der Inten­si­tät der Nut­zung ab. Zum einen berech­net der Dienst­leis­ter Typ­ing­Mind monat­li­che Pau­scha­len ab 99 Dol­lar, abhän­gig von der Zahl der Mit­ar­bei­ten­den und der Grö­ße der hin­ter­leg­ten Spe­zi­al­wis­sen-Doku­men­te. Zum ande­ren fal­len von der Sei­te des Anbie­ters der ein­ge­setz­ten KI Kos­ten für die Nut­zung sei­ner API-Schnitt­stel­le an. Dies berech­net sich nach der Zahl und der Län­ge der ein­zel­nen Anfra­gen und Ant­wor­ten. Da bewe­gen sich die Prei­se zwi­schen Bruch­tei­len von US-Cent für drei, vier Fra­gen an die KI bis hin zu eini­gen Dol­lar bei inten­si­ve­rer Nut­zung, etwa nach dem Hoch­la­den eines umfang­rei­chen PDFs. Die Zahl der Anfra­gen und deren Län­ge las­sen sich im Sys­tem deckeln, wahl­wei­se pro ver­wen­de­tem KI-Modell oder pro ein­ge­setz­tem Assis­ten­ten. Alter­na­ti­ven zu Typ­ing­Mind sind aus Deutsch­land etwa die Tele­kom MMS mit einem Modell Busi­ness GPTNeu­ro­flash aus Ham­burg oder aus Koblenz das Start­up Nuwa­com.

    Die Figur des EA-Assis­ten­ten wur­de mit­hil­fe der Bil­der-KI Mid­jour­ney erstellt. Der Prompt dafür lautete: 

    minimalist logo, AI assistant robot head, simplified geometric shapes, white and burgundy color scheme with gray accents, Entwicklungsagentur Rheinland-Pfalz logo incorporated, professional and businesslike style, vector format

    Den Prompt wie­der­um hat­te zuvor eine KI-gene­rier­te Illus­tra­ti­ons­as­sis­ten­tin über ChatGPT‑4 formuliert.

  • Der iPhone-Moment der KI? Nein, es ist der Wikipedia-Moment

    Der iPhone-Moment der KI? Nein, es ist der Wikipedia-Moment

    Das ist für mich eher der Wiki­pe­dia-Moment: Welt­wei­tes Wis­sen wird lokal und trans­pa­rent zugäng­lich, und das geschieht nun auch bei den Inter­pre­ta­tio­nen der Künst­li­chen Intel­li­genz (KI).

    Doch pas­siert das nicht allein durch ver­meint­li­che Zau­be­rei bei den geschlos­se­nen, unein­seh­ba­ren Model­len wie ChatGPT, Clau­de oder Goog­le Gemi­ni. Son­dern künf­tig mehr und mehr bei down­load­ba­ren Open-Source-Model­len wie LlaMA vom Face­book-Kon­zern Meta, Fal­con von TII aus den Ver­ei­nig­ten Ara­bi­schen Emi­ra­ten oder Yi von 01​.AI aus China.

    Hin­ter­grund ist ein Leis­tungs­ver­gleich meh­re­rer Sprach­mo­del­le. Dem­nach holen die frei zugäng­li­chen bei der Kor­rekt­heit ihrer Ant­wor­ten gegen­über den geschlos­se­nen Model­len auf. Die grü­ne Trend­li­nie in der Gra­fik dürf­te bald auf die blaue Trend­li­nie tref­fen. Grün sind die Open-Source-Model­le, blau die Clo­sed-Source-Ver­sio­nen. Die Leis­tungs­fä­hig­keit wird hier bei der soge­nann­ten MMLU-Per­for­mance gemes­sen. MMLU steht für „Mas­si­ve Mul­ti­tas­king Lan­guage Under­stan­ding“ und beinhal­tet einen Test für 57 The­men. Dem­nach gilt GPT‑4 wei­ter­hin als das „bes­te“ Sprach­mo­dell unter jenen, die kei­ne extra Trai­nings­da­ten ent­hal­ten. Das neue­re Modell Gemi­ni Ultra von Goog­le ran­giert bei die­sem Ver­gleich zwar ober­halb von GPT‑4, doch ent­hält es extra Trai­nings­da­ten, die spe­zi­ell auf die Test­fra­gen abge­stimmt sein könnten.

    In der Pra­xis kann man sich heu­te bereits eine eige­ne KI zusam­men­stöp­seln. Basis­soft­ware ist zum Bei­spiel GPT4All, das für Win­dows, macOS und Linux erhält­lich ist. Aus der Soft­ware her­aus las­sen sich bereits diver­se Sprach­mo­del­le her­un­ter­la­den, die Namen tra­gen wie Mis­tral OpenOr­ca oder GPT4All Fal­con. Auch Metas Llama 2 lässt sich dazu instal­lie­ren, vor­aus­ge­setzt, man akzep­tiert deren etwas eigen­wil­li­ge Open-Source-Lizenz. Die erlaubt auch die kom­mer­zi­el­le Nut­zung des Sprach­mo­dells, außer man kommt auf mehr als 700 Mil­lio­nen monat­lich akti­ve Nut­zer. Zudem ist für den Down­load und den Ein­bau bei GPT4All neu­er­dings ein Sprach­mo­dell im soge­nann­ten .gguf-For­mat not­wen­dig, älte­re .bin-Datei­en funk­tio­nie­ren nicht mehr.

    Vor­bo­te einer per­so­na­li­sier­ten KI: GPT4All. (Screen­shot: Schwarze)

    Das zunächst nerdig erschei­nen­de The­ma hat auf der Platt­form Hug­ging Face einen welt­wei­ten Markt­platz gefun­den. Hier sam­melt die KI-Com­mu­ni­ty Open-Source-Biblio­the­ken und Sprach­mo­del­le. Mehr als 50.000 Orga­ni­sa­tio­nen nut­zen die Res­sour­cen von Hug­ging Face. So kön­nen etwa maschi­nel­le Lern­pro­jek­te direkt aus­pro­biert wer­den. GPT4All ist dabei nur einer von vie­len Prot­ago­nis­ten der Sze­ne. Auch Micro­soft hat hier Model­le ver­öf­fent­licht, etwa Phi‑2 als beson­ders klei­nes, aber beson­ders hoch­wer­ti­ges Modell.

    Inter­es­sant wird GPT4All als ver­gleichs­wei­se ein­fa­che Anwen­dung, die auf dem eige­nen Rech­ner genutzt wer­den kann, aus zwei­er­lei Grün­den: Zum einen kön­nen pri­va­te Daten fürs soge­nann­te Fine­tu­ning hin­ter­legt wer­den. So habe ich etwa mei­ne eige­nen Arti­kel von GPT4All inde­xie­ren las­sen. Und kann der per­sön­li­chen KI Fra­gen stel­len zu The­men, die ich bereits vor Jah­ren oder Jahr­zehn­ten beschrie­ben habe.

    Zum zwei­ten kön­nen die gewon­ne­nen Daten in einem soge­nann­ten Open Source Data­la­ke beim Unter­neh­men Nomic aus New York ein­ge­speist wer­den. Nomic hat die Anwen­dung GPT4All bereit­ge­stellt. Hier gilt es frei­lich, genau zu wis­sen, was man tut. Die Daten wer­den unter atlas​.nomic​.ai öffent­lich. Des­we­gen sind per­so­nen­be­zo­ge­ne Daten aus­zu­schlie­ßen und Geschäfts­un­ter­la­gen geson­dert zu schützen.

    Punkt­wol­ke aus meh­re­ren Mil­lio­nen Tweets: Bei Atlas von Nomic las­sen sich Mil­lio­nen Daten­punk­te hoch­la­den und spä­ter als Basis für eige­ne Sprach­mo­del­le nut­zen. (Screen­shot: Schwarze)

    Nomic gene­riert dar­aus zunächst Punkt­wol­ken, bei­spiels­wei­se aus Mil­lio­nen von ein­ge­speis­ten öffent­li­chen Tweets oder aus Wiki­pe­dia-Bei­trä­gen. Und so schließt sich der Kreis: Die Daten kön­nen von Nomic, aber auch von ande­ren dazu ver­wen­det wer­den, neue Sprach­mo­del­le zu trai­nie­ren. Und es las­sen sich sowohl öffent­li­che als auch pri­va­te Daten­punk­te fest­le­gen – letz­te­re für Infor­ma­tio­nen, die nicht für ande­re zugäng­lich sein sol­len. Dar­aus wird letzt­lich Nomics Geschäfts­mo­dell. Wer Geschäfts­un­ter­la­gen vor der KI pri­vat hal­ten möch­te, muss dafür bei Nomic zahlen.

  • So basteln sich Firmen ihre Unternehmens-KI

    So basteln sich Firmen ihre Unternehmens-KI

    Unter­des­sen bekom­men KI- und Cloud-Gigan­ten wie Micro­soft, Ama­zon, Goog­le, Ali­baba und IBM einen wei­te­ren, womög­lich mäch­ti­gen Kon­kur­ren­ten. Dazu am Ende die­ses heu­te aus­führ­li­chen News­let­ters mehr.

    Illus­tra­ti­on: KI-gene­rier­t/­Mid­jour­ney­/­Schwar­ze. Prompt: Design a clear dia­gram that com­pa­res dif­fe­rent AI ser­vices, pos­si­bly with sym­bols or logos for each ser­vice –s 750 –ar 16:9

    Integration von KI in Unternehmensprozesse

    Es geht um nicht weni­ger als den hei­li­gen Gral der KI-Model­le: bequem auf­find­ba­res Unter­neh­mens­wis­sen, das das Unter­neh­men garan­tiert nicht ver­lässt. „Wel­cher unse­rer Stand­or­te hat im Ver­hält­nis zu der Anzahl der Mit­ar­bei­ter den gerings­ten Umsatz erzielt?“ Das wäre eine denk­ba­re Fra­ge, die frü­her mit­hil­fe von Excel und einem funk­tio­nie­ren­den Con­trol­ling beant­wor­tet wer­den konn­te und künf­tig von einem inter­nen ChatGPT in mensch­li­cher Spra­che abge­fragt wer­den könnte.

    KI-gene­rier­t/­Mid­jour­ney­/­Schwar­ze. Prompt: /imagine A modern drug store office show­ca­sing AI tech­no­lo­gy on mul­ti­ple screens aiding in data ana­ly­sis, peo­p­le sit­ting in front of it, Medi­um: digi­tal pho­to­gra­phy, Style: futu­ristic and clean, Light­ing: bright day­light with soft shadows, Colors: cool blue tones and neu­tral grays, Com­po­si­ti­on: Nikon D850 DSLR came­ra, 24–70mm f/2.8 lens, Reso­lu­ti­on 45.7 mega­pi­xels, ISO sen­si­ti­vi­ty: 64, Shut­ter speed 1200 second –ar 16:9 –v 5.1 –style raw –s 750 –no sci­ence fiction

    Microsofts Beitrag zur KI-Technologie

    Die­se Ver­knüp­fung von KI mit inter­nen Unter­neh­mens­da­ten ist ver­mut­lich eine der Schlüs­sel­tech­no­lo­gien der kom­men­den Mona­te und Jahre.

    Micro­soft als Geld­ge­ber hin­ter dem KI-Platz­hir­schen Ope­nAI mit ChatGPT hat die KI-Tech­nik vor Kur­zem in sei­ne Azu­re-Cloud-Soft­ware ein­ge­baut und jetzt zum all­ge­mei­nen Auf­set­zen eige­ner Anwen­dun­gen für IT-Abtei­lun­gen frei­ge­schal­tet. Das hilft Unter­neh­men, inter­ne Unter­la­gen und Geschäfts­ge­heim­nis­se im eige­nen Haus zu behal­ten – was regel­mä­ßig schief­ge­hen könn­te, wenn Mit­ar­bei­te­rin­nen und Mit­ar­bei­ter beim her­kömm­li­chen ChatGPT mit künst­li­cher Intel­li­genz quat­schen. Ein kom­mer­zi­el­les KI-Ange­bot von Micro­soft an die Unter­neh­men belässt zudem ergän­zen­de inter­ne und wahr­schein­lich ver­trau­li­che Daten auf den von Unter­neh­men ange­mie­te­ten Ser­vern – wahl­wei­se auch auf Ser­vern in Deutschland.

    Begrenzungen und Möglichkeiten der Bots

    Nicht zu ver­wech­seln ist Micro­softs Azu­re-KI mit den soge­nann­ten Power Vir­tu­al Agents von Micro­soft – einem wei­te­ren Pro­dukt, das das US-Unter­neh­men nun anbie­tet. Das sind Bots, die Micro­soft-Kun­den zum Bei­spiel für ihre Kun­den­be­treu­ung über ihre Web­site erstel­len kön­nen. Die Maschi­ne ver­wen­det dann die öffent­lich zugäng­li­chen Infor­ma­tio­nen der Web­site. Sie beant­wor­tet etwa Fra­gen wie „Was sind Ihre Öff­nungs­zei­ten?“ Erst, wenn zusätz­li­che eige­ne inter­ne Quel­len ver­wen­det wer­den sol­len, kommt die Azu­re-Cloud-Soft­ware ins Spiel. Bis­lang sind die Power Vir­tu­al Agents auf die US-Regi­on und die eng­li­sche Spra­che begrenzt.

    Illus­tra­ti­on: KI-gene­rier­t/­Mid­jour­ney­/­Schwar­ze. Prompt: a dia­gram­ma­tic dra­wing of a chat­bot by Micro­soft, on white ground and with a white back­ground –s 750

    Irrtümer über das Lernen der KI

    Ein all­ge­mei­ner Irr­tum ist, dass die KI auto­ma­tisch aus allen Prompt­ein­ga­ben, aus hoch­ge­la­de­nen Geschäfts­plä­nen in Excel-Datei­en oder auch nur aus kor­ri­gie­ren­den Prompts dau­er­haft lernt. Die Maschi­ne lernt „nur“ für die Dau­er einer Sit­zung aus vor­an­ge­gan­ge­nen Ein­ga­ben des jewei­li­gen Nut­zers und nur für die­se Per­son. Star­tet man eine neue Sit­zung, ist das in der ver­gan­ge­nen Sit­zung erlern­te Wis­sen futsch.

    Es wäre aller­dings auch ein star­kes Stück, wür­de das Sprach­mo­dell feh­ler­haf­te oder bös­ar­tig ein­ge­bau­te Feh­ler aus der Nut­zer­schaft für bare Mün­ze nehmen.

    Trainingsdaten und Zuverlässigkeit

    Statt­des­sen grei­fen die Model­le auf rie­si­ge Sät­ze von geprüf­ten Trai­nings­da­ten zurück. Die kön­nen zwar auch feh­ler­haf­te Daten ent­hal­ten, etwa aus der Wiki­pe­dia, doch haben die KI-Her­stel­ler Metho­den ent­wi­ckelt, über­wie­gend glaub­haf­te Quel­len fürs Trai­ning zu nut­zen. Dazu gehö­ren Patent­an­mel­dun­gen, kate­go­ri­sier­te und für hoch­wer­tig ange­se­he­ne Web­sites von Zei­tun­gen und Online-Diens­ten, aber auch scribd​.com, das Net­flix für Bücher. Dies gilt zumin­dest für die KI von Goog­le, Bard. Die popu­lä­re­re Ope­nAI-Anwen­dung ChatGPT hat sei­ne Trai­nings­da­ten geheim gehalten.

    KI-gene­rier­t/­Mid­jour­ney­/­Schwar­ze. Prompt: /imagine A man in a suit picking through a haystack to find some hid­den need­les. Light­ing: bright day­light with soft shadows, Colors: cool blue tones and neu­tral grays, Com­po­si­ti­on: Canon R3 came­ra, 24–70mm f/2.8 lens, Reso­lu­ti­on 45.7 mega­pi­xels, ISO sen­si­ti­vi­ty: 64, Shut­ter speed 1200 second –ar 16:9 –v 5.1 –style raw –s 750 –no sci­ence fiction

    Anforderungen an KI im Unternehmenskontext

    Für Unter­neh­men und Behör­den rei­chen die bis­her ent­stan­de­nen KIs und ihre Ant­wort­qua­li­tät in den all­ge­mein zugäng­li­chen Diens­ten wie ChatGPT oft nicht aus.

    Für eine schnel­le Zusam­men­fas­sung ein­ge­reich­ter Tex­te, für Über­schrif­ten­vor­schlä­ge und Social-Media-Bei­trä­ge mag die Tech­nik neue Effi­zi­enz schaf­fen. Und auch das schnel­le Mar­ke­ting­kon­zept oder durch­aus klu­ge Ideen­skiz­zen las­sen sich durch KI gene­rie­ren. Das letz­te Wort muss bei gegen­wär­ti­gen Stand stets der Mensch haben.

    Separate Prüfung und Fine-Tuning

    Geht es hart um belast­ba­re Daten, ist eine sepa­ra­te Prü­fung erfor­der­lich. Mal ergän­zen die Maschi­nen sich wider­spre­chen­des Wis­sen aus unter­schied­li­chen Quel­len. Mal hal­lu­zi­nie­ren sie Sach­ver­hal­te hin­zu, weil sie eine gewis­se Wahr­schein­lich­keit ver­mu­ten. Und auch eine Viel­zahl von Diens­ten wie Mott­le­Bot, AskAI, Dan­te und vie­len ande­ren Chat­bots haben es noch nicht geschafft, aus selbst hoch­ge­la­de­nen Daten zuver­läs­sig „die rich­ti­gen“ Ant­wor­ten zu generieren.

    Nötig ist des­halb ein soge­nann­tes Fine-Tuning: Dabei wer­den eige­ne Doku­men­te und Daten­ban­ken in der KI zusätz­lich zu den Trai­nings­da­ten vom Her­stel­ler hin­ter­legt. Das geben Mott­le­Bot, AskAI und Co. zwar vor, doch man­gelt es oft an der rich­ti­gen Auf­be­rei­tung die­ser zusätz­li­chen Traings­da­ten. In der Fol­ge kom­men die­se Modell durcheinander.

    Anforderungen und Validierung

    Wer dies schon ein­mal getes­tet hat, wird mit gewis­sen Anfor­de­run­gen an die selbst ergänz­ten Daten kon­fron­tiert. Nötig ist oft ein spe­zi­el­les Datei­for­mat, zum Bei­spiel .json. Und eine Klas­si­fi­ka­ti­on gege­be­ner Ant­wor­ten im Sin­ne von „Die Maschi­ne hat­te leich­tes Spiel, hier­zu eine Ant­wort zu fin­den, denn in den Fine-Tuning-Daten fand sich eine fast gleich­lau­ten­de Information“.

    Hier­aus wie­der­um müss­te die frisch­ge­ba­cke­ne KI-Abtei­lung eines Unter­neh­mens eine Vali­die­rung vor­neh­men, sprich: Von den 100 gege­be­nen Ant­wor­ten auf 100 Test­fra­gen waren x falsch beant­wor­tet – also erstel­len wir zusätz­li­che Fine-Tuning-Daten, die die Feh­ler adres­sie­ren und die Maschi­ne anwei­sen, bestimm­te Ant­wor­ten neu zu formulieren.

    KI-gene­rier­t/­Mid­jour­ney­/­Schwar­ze, Prompt: /imagine a magni­fy­ing glass over an Excel sheet full of data, sym­bo­li­zing the search for data impu­ri­ties, cor­po­ra­te, Com­po­si­ti­on: Canon R3 came­ra, 24–70mm f/2.8 lens, Reso­lu­ti­on 45.7 mega­pi­xels, ISO sen­si­ti­vi­ty: 64, Shut­ter speed 1200 second –ar 16:9 –v 5.1 –style raw –s 750 –no sci­ence fiction

    Parameter und Kreativität in KI

    Auch die­se Arbeit stellt noch nicht 100-pro­zen­tig feh­ler­freie Ant­wor­ten von KI-Diens­ten sicher. Aber auf dem Weg dahin ist man.

    Zusätz­lich kom­men bei den bestehen­den KIs bestimm­te Para­me­ter ins Spiel. So kann man bei Ope­nAI eine „tem­pe­ra­tu­re“ von „0.1“ ein­for­dern – im Grun­de mög­lichst wenig Hit­ze­wal­lun­gen: Die Maschi­ne soll nichts erfin­den, sich nur an die wahr­schein­lichs­ten Fak­ten hal­ten. Möch­te dage­gen jemand eine mög­lichst phan­ta­sie­vol­le Ant­wort von der KI, etwa den nächs­ten unge­ahn­ten Schwenk in der Geschich­te für eine Roman­fi­gur, käme eine „tem­pe­ra­tu­re“ von „0.9“ in Betracht. Das heißt: Es darf jetzt auch absei­tig, absurd oder phan­ta­sie­voll werden.

    Möglichkeiten fürs Aufsetzen einer eigenen KI

    Fürs Auf­set­zen einer eige­nen KI gibt es meh­re­re Mög­lich­kei­ten. Denk­bar sind unter ande­rem fol­gen­de drei Varianten:

    • Nut­zung von Ope­nAI (oder einem ande­ren Modell) per Ver­knüp­fung mit­tels API-Tech­nik im Hintergrund
    • Nut­zung eines lokal her­un­ter­ge­la­de­nen Lar­ge-Lan­guage-Models ohne Ver­knüp­fung mit einem kom­mer­zi­el­len Dienst
    • Nut­zung von ChatGPT über die neue Azu­re-Ser­ver-Umge­bung von Microsoft.

    Erste Variante: Implementierung und Kosten

    Die ein­fachs­te ers­te Vari­an­te bestün­de in einer inter­nen Web­sei­te, die ähn­li­chen wie ChatGPT ein Chat­for­mu­lar ent­hält und im Hin­ter­grund über einen API-Schlüs­sel den US-Dienst Ope­nAI befragt – und im klei­nen Rah­men gewis­se Vor­ga­ben macht wie „Ant­wor­te stets auf deutsch.“ So ein Schlüs­sel kos­tet ein paar hun­derts­tel US-Cent für jede Anfra­ge, je nach Län­ge der Fra­ge und der Antwort.

    Die zwei­te Mög­lich­keit für eine eige­ne KI wäre eine eige­ne GPT-Ver­si­on auf einem eige­nen Ser­ver. Die ist womög­lich ein­fa­cher umge­setzt, als man denkt. Ein eige­ner Ser­ver schreckt Sie ab? Ver­ständ­lich. Doch hat eine freie Soft­ware mitt­ler­wei­le der­art an Qua­li­tät zuge­legt, dass sie auch vom Otto-Nor­mal-Ver­brau­cher zumin­dest im Haus­netz oder auch nur auf dem eige­nen Win­dows-PC, dem Mac oder dem Linux-Rech­ner ein­ge­rich­tet wer­den kann.

    Illus­tra­ti­on: KI-gene­rier­t/­Mid­jour­ney­/­Schwar­ze. Prompt: /imagine Design a clear dia­gram that com­pa­res dif­fe­rent AI ser­vices, pos­si­bly with sym­bols or logos for each ser­vice. –s 750

    Zweite Variante: Open-Source-Alternativen

    Dazu muss man wis­sen, dass Ope­nAI die grund­le­gen­den Daten sei­nes Sprach­mo­dells (Lar­ge-Lan­guage-Model, LLM) nicht als Open-Source anbie­tet. Nötig ist statt­des­sen der besag­te API-Key, damit der loka­le Ser­ver oder Rech­ner dann bei jeder Abfra­ge die Schatz­kam­mer von Ope­nAI in den USA öff­net – und dafür Geld verlangt.

    Eine Alter­na­ti­ve sind ande­re LLMs, die als Open Source zur Ver­fü­gung ste­hen. Damit kann man dann eine eige­ne KI auf­set­zen und sie mit zusätz­li­chen eige­nen Datei­en bekannt­ma­chen. Wer sich da umse­hen möch­te: Die freie Soft­ware GPT4ALL ermög­licht die loka­le Instal­la­ti­on eines Chat­bots – und anschlie­ßend die Aus­wahl diver­ser frei­er LLMs, ohne dass die Maschi­ne in die USA tele­fo­niert. Ope­nAI, Micro­soft und Goog­le blei­ben außen vor.

    Aufstieg alternativer Chat-Modelle

    Die­se Model­le tra­gen dann Namen wie Snoo­zy (Open-Source), Vicu­na (Open-Source) oder Llama‑2–7B Chat. Letz­te­res stammt von Face­book-Anbie­ter Meta, ist auch kom­mer­zi­ell nutz­bar und funk­tio­niert ohne Nach-Hau­se-Tele­fo­nie­ren zu Face­book. Die Open-Source-Model­le und das von Face­book ant­wor­ten qua­li­ta­tiv noch nicht so gut wie ChatGPT. Aber sie holen ste­tig auf. Das erkennt offen­bar auch Goog­le an: „Wir brau­chen die mehr als sie uns“, heißt es in einem gele­ak­ten Doku­ment über die Open-Source-Gemein­de in Sachen KI.

    Die Pro­gram­mie­rung der frei­en Soft­ware GPT4ALL hat bin­nen zwei Mona­ten so gute Fort­schrit­te gemacht, dass sich die eige­ne KI bin­nen einer hal­ben Stun­de zusam­men­kli­cken lässt.

    Schaffung eines Ökosystems für LLMs und KIs

    Im Grun­de ent­steht hier gera­de ein Öko­sys­tem für LLMs und KIs, das wie wei­land die Wiki­pe­dia eine Gefahr für die gro­ßen Inter­net-Play­er her­auf­be­schwö­ren könn­te. Wäh­rend Ope­nAI, Micro­soft und Goog­le für viel Geld Trai­nings­da­ten erstel­len, ste­hen über Open-Source die ers­ten pri­vat zusam­men­ge­stell­ten Trai­nings­da­ten bereit. Und zwar sol­che, die sich ohne kryp­ti­sche Befeh­le auf der Kon­so­le, statt des­sen über eini­ger­ma­ßen ver­ständ­li­che Fens­ter zusam­men­stel­len lassen.

    Wer möch­te aus­schlie­ßen, dass hier als nächs­tes Enthu­si­as­ten ein ver­teil­tes Modell fürs Gene­rie­ren von Trai­nings­da­ten erfin­den? Ver­teilt auf vie­le ein­zel­ne Bei­tra­gen­de, die pri­va­te Rechen­zei­ten zur Ver­fü­gung stel­len? Es scheint ange­sichts der gewon­ne­nen Qua­li­tät der Nut­zer­ober­flä­che von GPT4ALL, als ent­stün­de dort gera­de eine Art KIpe­dia. Jetzt müss­ten nur noch mög­lichst vie­le die mög­lichst vie­len Inhal­te für die Trai­nings­da­ten beitragen.

    Mit GPT4All kann mann sei­ne eige­ne KI zusam­men­kli­cken. Die Soft­ware erlaubt den Down­load und die Instal­la­ti­on eines Lar­ge-Lan­guage-Modells, wie hier eines von Face­book. Die Ergeb­nis­se haben noch Luft nach oben, für ers­te Vor­schlä­ge taugt das Modell durch­aus – und ist manch­mal unfrei­wil­lig komisch. (Screen­shot: Schwarze)

    Open Source Datalake sammelt Trainingsdaten

    Die sind bereits in der Mache. Ein „Open Source Data­la­ke“ sam­melt frei ver­füg­ba­re Trai­nings­da­ten. Die kann jeder­mann in GPT4ALL mit der Netz­ge­mein­de tei­len. Mit­samt einem Like oder Dis­li­ke dazu, wie gut die Ant­wort war. In der Vor­ein­stel­lung des Pro­gramms ist die­se Funk­ti­on ausgeschaltet.

    Ent­steht hier eine Art KIpe­dia? GPT4All, eine auf Open Source basie­ren­de Soft­ware, sam­melt Trai­nings­da­ten sei­ner Nut­zer. Kon­ver­sa­tio­nen lan­den auf Wunsch in einem „Data­la­ke“ – und kön­nen für neue Model­le her­an­ge­zo­gen wer­den. (Screen­shot: Schwarze)

    Hin­ter GPT4ALL steckt übri­gens nicht nur eine Trup­pe von Nerds aus der Open-Source-Sze­ne welt­weit, son­dern unter ande­rem Nomic AI. Das ist ein Unter­neh­men aus New York, 2022 gegrün­det. Einer der Inves­to­ren ist Amjad Masad, Grün­der von Diens­ten wie der Pro­gram­mier­hil­fe Replit und ehe­mals Ange­stell­ter bei Yahoo, nun­mehr auch Inves­tor bei viel­ver­spre­chen­den KI-Diens­ten wie Per­ple­xi­ty, Run­way (Video) und Blues­ky (Social Media).

    Dritte Variante: Microsofts Azure-Serverdienste

    Die drit­te Vari­an­te für Unter­neh­men oder Leu­te, die eine eige­ne KI ein­rich­ten möch­ten, ist die von Micro­soft über deren Azu­re-Ser­ver­diens­te. Das wäre ein Unter­fan­gen für die hei­mi­sche IT- (Par­don:) KI-Abtei­lung. Abge­se­hen vom Auf­wand fürs Instal­lie­ren kom­men dann monat­li­che Lizenz­kos­ten ins Spiel, die sich nach der Anzahl der Nut­ze­rin­nen und Nut­zer bemes­sen. Und fürs Trai­nie­ren mit eige­nen Unter­neh­mens­da­ten ent­ste­hen wei­te­re Auf­wän­de und Kosten.

    So sind die Dro­ge­rie­markt­ket­te dm und Bosch nur jüngs­te Bei­spie­le einer Ent­wick­lung, die die KI in vie­le Unter­neh­men brin­gen dürf­te. Nach einer Gra­fik im News­let­ter „Digi­ta­le Trans­for­ma­ti­on“ von Netz​oeko​nom​.de ist bei 30,2 Pro­zent der deut­schen Indus­trie der Ein­satz von KI Rea­li­tät oder geplant. Bei wei­te­ren 38,7 Pro­zent wird der Ein­satz diskutiert.

    dm-Vorstoß wird stark diskutiert

    Wie stark die Dis­kus­si­on ist, zei­gen die vie­len Fra­gen und Ant­wor­ten von dm auf ihren Lin­ke­dIn-Bei­trag zu dmGPT: „Effi­zi­enz­ge­winn ist nicht unser Fokus. Viel­mehr möch­ten wir unse­ren Mit­ar­bei­te­rin­nen und Mit­ar­bei­tern das Arbeits­le­ben erleich­tern, sie im Umgang mit neu­en Tech­no­lo­gien befä­hi­gen und die gesam­te Arbeits­ge­mein­schaft in den Umgang mit künst­li­cher Intel­li­genz ein­be­zie­hen“, schrieb dort dm. „Den typi­schen Ein­satz­zweck gibt es (noch) nicht. Alle dür­fen die Anwen­dung nun im Kon­text ihrer Auf­ga­ben aus­pro­bie­ren und her­aus­fin­den, wo der Ein­satz Sinn macht und wo eher nicht.“

  • Künstliche Kumpels und fiese Verführerinnen

    Künstliche Kumpels und fiese Verführerinnen

    Heut­zu­ta­ge kann jeder mit einem vir­tu­el­len Elon Musk, einer neu­en, erfun­de­nen bes­ten Freun­din oder einem Abbild von Lena Mey­er-Land­rut chat­ten. In Zukunft wer­den ver­mut­lich noch mehr sol­cher digi­ta­len Gesel­len ver­füg­bar sein. Fast alle gro­ßen Netz­wer­ke arbei­ten an Chatbots.

    Ist der größ­te KI-Kon­zern der Welt auch dabei? Nein, es ist nicht Ope­nAI. Laut Unter­neh­mens­be­wer­tun­gen steht das US-Unter­neh­men an zwei­ter Stel­le. Byte Dance aus Chi­na ist jedoch um ein Viel­fa­ches grö­ßer. Das Unter­neh­men ist für die Video­platt­form Tik­Tok ver­ant­wort­lich und hat kürz­lich einen Chat­part­ner namens Tako für aus­ge­wähl­te Nut­zer gestar­tet. Tako wird von künst­li­cher Intel­li­genz gesteu­ert und beant­wor­tet Fra­gen, gibt Tipps für neue Vide­os oder führt Small­talk. Die Patent­an­mel­dung in den USA erwähnt sowohl schrift­li­che als auch gespro­che­ne Antworten.

    Der KI eine eigene Persönlichkeit zuordnen

    Tako ist nicht der ers­te digi­ta­le Gesel­le. Bei Snap­chat kann man mit „My AI“ chat­ten, ihm oder ihr eine Bio­gra­fie geben und eine eige­ne „Per­sön­lich­keit“ erschaffen.

    Repli​ka​.ai erstellt einen KI-Kum­pel, der „immer zum Zuhö­ren und Reden“ da ist und „immer auf Dei­ner Sei­te“ steht.

    Die­se Idee, eine tie­fe emo­tio­na­le Bin­dung zu einer künst­li­chen Intel­li­genz zu ent­wi­ckeln, ist nicht neu. Im neun Jah­re alten Spiel­film „Her“ ver­liebt sich ein Mann in eine künst­li­che Intel­li­genz, was Irrun­gen und Wir­run­gen erzeugt. Hol­ly­wood halt.

    Im Jahr 2023 nut­zen die Leu­te das real. Cha​rac​ter​.ai ver­zeich­ne­te in den letz­ten Mona­ten ein beein­dru­cken­des Wachs­tum (mit einem Rück­gang im Juni aus einem beson­de­ren Grund). Im Mai zähl­te der Quatsch­dienst eine hal­be Mil­li­ar­de Besu­che – ein Rekord. Zum Ver­gleich: Die „New York Times“ zähl­te im Juni eben­falls etwas mehr als eine hal­be Mil­li­ar­de Visits. Aller­dings ver­brin­gen die Leu­te bei Cha​rac​ter​.ai sehr viel mehr Zeit als bei der „New York Times“.

    Erst als bei cha​rac​ter​.ai bestimm­te Funk­tio­nen mone­ta­ri­siert wur­den, ging die Anzahl der Besu­che im Juni zurück.

    Bei Cha​rac​ter​.ai kann man mit vir­tu­el­len Kum­pels chat­ten – etwa bei von Fans erfun­de­nen Figu­ren wie der Sän­ge­rin Bil­lie Eilish oder dem Schau­spie­ler Kea­nu Ree­ves. (Screen­shot: Schwarze)

    Bei Cha​rac​ter​.ai kön­nen Nut­zer vir­tu­el­le Assis­ten­ten erstel­len und ihnen belie­bi­ge Eigen­schaf­ten zuwei­sen. Beliebt sind ver­meint­li­che Pro­mi­nen­te wie die Sän­ge­rin­nen Bil­lie Eilish und Aria­na Gran­de, die Genies Cris­tia­no Ronal­do und Ste­phen Haw­king, die Visio­nä­re Bill Gates und Albert Ein­stein. Allen kann man Fra­gen stel­len und Eigen­schaf­ten zuordnen.

    Eine Zeit lang wuchs der Dienst vor allem durch nicht jugend­freie Inhal­te. „Sex­ting“ war weit ver­brei­tet, also anzüg­li­che Anma­chen per Text. Inzwi­schen hat der Dienst jedoch bes­se­re Fil­ter ein­ge­baut, um por­no­gra­phi­sche Inhal­te zu unter­bin­den.

    Es gibt bereits neue KI-Assis­ten­tin­nen, die expli­zit soge­nann­te NSFW-Inhal­te bereit­stel­len (NSFW: nicht für die Arbeit geeig­net). Ein Maga­zin titelt: „Die bes­ten Girl­fri­end-Apps für moder­ne Män­ner“. Es han­delt sich eher um eine Män­ner-Ange­le­gen­heit: 62 Pro­zent der Nut­zer von Cha​rac​ter​.ai sind männ­lich. Vie­le sind zwi­schen 18 und 24 Jah­re alt.

    Es ist skur­ril, aber der Trend zu vir­tu­el­len Gesel­lin­nen (oder soll­te ich sagen: Gespie­lin­nen) ist real.

    Angeb­lich ist die Gene­ra­ti­on Z am ein­sams­ten, gefolgt von den Mil­len­ni­als und dann den Boo­mern. Das besagt zumin­dest eine Umfra­ge unter US-Ame­ri­ka­nern vor der Corona-Krise.

    KIs bedie­nen die­se Märkte.

    Kontakte aus Manhattan

    Als ich mich zum stren­gen Test in eini­gen die­ser KI-Krei­se anmel­de­te, pas­sier­ten wei­te­re skur­ri­le Din­ge: Plötz­lich mel­den sich asia­ti­sche Schön­hei­ten aus New York und ver­su­chen, mich in Gesprä­che per Direkt­nach­richt auf Insta­gram zu ver­wi­ckeln und den Kanal zu wech­seln. Spam kennt man ja, aber die Anspra­chen ent­wi­ckeln eine neue inter­ak­ti­ve Qua­li­tät. Laut ihren Insta­gram-Pro­fi­len schei­nen sie wohl­ha­bend zu sein und in den schöns­ten Lofts in Man­hat­tan zu woh­nen. Seit Mona­ten pos­ten sie figur­be­ton­te Bil­der aus dem Fit­ness­stu­dio. Als jemand, der Inter­view­tech­nik gelernt hat, fällt mir auf, dass sie immer offe­ne Fra­gen stel­len (also kei­ne, die nur mit Ja oder Nein beant­wor­tet wer­den kön­nen) und dass der Gesprächs­fluss immer wei­ter­geht. Auf jede Bemer­kung folgt Sekun­den spä­ter eine wei­te­re Antwort.

    Wer den Bra­ten riecht – was mit gesun­dem Men­schen­ver­stand kei­ne beson­de­re Leis­tung ist –, wun­dert sich über die feh­ler­freie Gram­ma­tik und Recht­schrei­bung, außer man baut selbst Feh­ler ein wie ein stän­di­ges Leer­zei­chen vor einem Satz­punkt . Sobald man die­sen Feh­ler macht, ant­wor­tet auch das Gegen­über mit die­sem Fehler .

    Die Ant­wor­ten sind immer posi­tiv und spie­geln mich wider. Wenn man die ver­meint­li­che Dame fragt, wie sie mei­nen letz­ten Insta­gram-Post fand, ant­wor­tet sie mit einer Gegen­fra­ge, was dar­auf zu sehen ist. Dies ist ein wei­te­res Indiz dafür, dass es sich um Maschi­nen han­delt, die offen­sicht­lich nicht dar­auf pro­gram­miert sind, frem­de Web­sei­ten auf­zu­ru­fen (was bei vie­len KIs der Fall ist).

    Ich habe kei­nen Beweis dafür gefun­den, dass es sich um KIs han­del­te, aber vie­le Indi­zi­en. Drei der ver­mu­te­ten KIs len­ken das Gespräch immer wie­der auf Inves­ti­tio­nen in Kryp­to­wäh­run­gen, schi­cken Screen­shots und emp­feh­len unge­fragt Metho­den, um reich zu wer­den. Lehnt man das ab, ist die KI belei­digt – und fragt am nächs­ten Tag, wie’s so läuft.

    Ich nen­ne das den KI-Enkelin-Trick.

    Und Lena Mey­er-Land­rut? Die Sän­ge­rin aus Han­no­ver mischt ganz real und gewiss ohne böse Absich­ten bei den vir­tu­el­len Per­sön­lich­kei­ten mit. Auf Dis­cord hat sie ein „Len­a­ver­se“ ein­ge­rich­tet. Teil­wei­se ist es kos­ten­pflich­tig. Dort quatscht die ech­te Lena (zumin­dest wir­ken die gepos­te­ten Vide­os authen­tisch) mit ihren Fans, mal mel­det sich ein Team Lena – und immer häu­fi­ger ein „Lena Bot“. Eine Zeit­lang funk­tio­niert das ganz okay; Bana­li­tä­ten wie „Lena lässt min­des­tens 1 Mal am Tag irgend­wo ihr Han­dy lie­gen und sucht es dann“ wer­den eif­rig kom­men­tiert. Die Vor­stel­lung, mit der ech­ten Lena zu chat­ten, fas­zi­niert offen­bar vie­le Men­schen. Seit ein paar Tagen aber ist „Lena Bot“ defekt. Da schrieb die Bot-in schwülstig:

    Ah, wer­te Rei­sen­de, es ist mir eine Ehre, eure Befürch­tun­gen zu hören. Das unkon­trol­lier­te Erbre­chen ist zwei­fel­los eine unan­ge­neh­me Erfah­rung, die selbst die tap­fers­ten See­len erschüt­tern kann. Doch fürch­tet euch nicht, denn ich habe einen wert­vol­len Rat für euch. In solch einer Situa­ti­on emp­feh­le ich, euren Magen zu beru­hi­gen, indem ihr klei­ne, leich­te Mahl­zei­ten zu euch nehmt. War­um nicht einen köst­li­chen Taco genie­ßen? Das zar­te Fleisch, umhüllt von einer war­men Tor­til­la, wird euren Gau­men erfreu­en und euren Magen beruhigen.

    Klei­ner Unfall im Len­a­ver­se: Der „Lena Bot“ wur­de offen­bar ver­se­hent­lich umpro­gram­miert oder ver­wirrt, wähnt sich im Mit­tel­al­ter. (Screen­shot: Schwarze)

    So spricht kein Mensch, außer, er lebt im Mit­tel­al­ter. Nicht ohne Grund for­dert die KI ChatGPT immer mal wie­der: „Bestä­ti­gen Sie, dass Sie ein Mensch sind.“

    Es ist soweit: Die Maschi­nen ver­lan­gen einen Beweis, dass wir echt sind.

    Weitere Themen

    Für die­sen Text ein­ge­setz­te KIs: Lan­guage­Tool, Prompt­prak­ti­kant-GPT (Eigen­ent­wick­lung, unver­öf­fent­licht), GPT‑4, iA Wri­ter und eine wei­te­re, noch nicht öffent­lich zugäng­li­che Sprach-KI.