Schlagwort: Colab

Und wenn man es rich­tig anstellt, wer­den fast aus­schließ­lich die eige­nen gewünsch­ten Infor­ma­tio­nen ver­wen­det. Und nichts wird hin­zu­ge­dich­tet, wie das man­che hal­lu­zi­nie­ren­de KIs ger­ne machen.

Ich habe das aus­pro­biert und zumin­dest einen Pro­to­typ hinbekommen.

Den­noch rate ich Anfän­gern von der Eigen­ent­wick­lung auf Code-Basis ab: Mit­hil­fe von ChatGPT und der Goog­le-Ser­ver­um­ge­bung Colab ist es mir zwar gelun­gen, eine lauf­fä­hi­ge Ant­wort­ma­schi­ne auf einer per­sön­li­chen Web­sei­te zu gene­rie­ren. Mit­samt der Unter­su­chung auf Basis eige­ner Doku­men­te. Jedoch sind Sicher­heits­aspek­te dabei nicht zu unterschätzen.

• So konn­te ich zwar mit­tels ChatGPT den Code für die Web­sei­ten mit mei­nen gewünsch­ten Funk­tio­nen für den Upload oder das Löschen eige­ner Doku­men­te hin­ter­le­gen. Auch beant­wor­tet die Maschi­ne dann im Zusam­men­spiel mit mei­nen hoch­ge­la­de­nen Doku­men­ten und ChatGPT per Wei­ter­lei­tung die Fra­gen weit­ge­hend intelligent.
• Doch ver­ste­he ich von der ein­ge­setz­ten Pro­gram­mier­spra­che Python zu wenig, um nicht ver­se­hent­lich eine Sicher­heits­lü­cke ein­zu­bau­en. Ein Bei­spiel: Um über mei­ne Sei­te den Dienst Ope­nAI anzu­spre­chen, ist eine API-Ver­knüp­fung erfor­der­lich. Hin­ter­legt man den nöti­gen Schlüs­sel auf der eige­nen Web­sei­te, ist er bei fal­schen Ein­stel­lun­gen für jeder­mann aus­les­bar. Für jede mit dem Schlüs­sel gene­rier­te Anfra­ge wer­den mir aber ein paar Tau­sends­tel US-Cent berech­net. Sinn­vol­ler­wei­se ver­steckt man den Schlüs­sel daher an ande­rer Stel­le auf dem Ser­ver. Und macht ihn nicht von außen zugänglich.
• Eben­so könn­te es pas­sie­ren, dass mir jemand eine viren­ver­seuch­te Datei hoch­lädt. Oder einen Schad­code auf den Ser­ver über­trägt. Habe ich dann die Hoch­la­de­me­cha­nis­men nicht genü­gend abge­si­chert, könn­te mein Ser­ver schnell geka­pert werden.

Sol­che Pro­gram­mie­rung soll­te man Pro­fis überlassen.

Die sind auf dem Markt unter­wegs. Im Fol­gen­den beschrei­be ich, wel­che das sind und wel­che aus mei­ner Sicht emp­feh­lens­wert sind.

Mehr als 5.400 künst­li­che Intel­li­gen­zen beschreibt der Dienst „There‘s an AI for that“ (Stand: Juli 2023). Die rich­ti­ge für den gewünsch­ten Zweck her­aus­zu­fin­den, ist auch damit nicht ein­fach. Die Anfor­de­rung lautet:

• Die KI soll das Hoch­la­den von Doku­men­ten und Ver­knüp­fen von bestimm­ten Web­sei­ten erlauben.
• Die ver­wend­ba­re Spra­che soll Deutsch sein.
• Euro­päi­sches Daten­schutz­recht ist Pflicht.
• Eine Auf­zeich­nungs­funk­ti­on soll an die Maschi­ne gestell­te Fra­gen und gege­be­ne Ant­wor­ten zeigen.
• Die Ant­wor­ten sol­len mög­lichst wenig bis kei­ne Feh­ler ent­hal­ten. Sie sol­len sich äußerst eng an den vor­ge­ge­be­nen Doku­men­ten ori­en­tie­ren und nichts hinzudichten.
• Im Ide­al­fall erlaubt das Frame­work das Hin­ter­le­gen eines eige­nen API-Keys für Ope­nAI (oder ein ande­res Modell), um mög­lichst wenig Zwi­schen­händ­ler­kos­ten zu verursachen.
• Idea­ler­wei­se erlaubt das Frame­work eine Aus­wahl zwi­schen ChatGPT 3.5 und dem bes­se­ren, aber auch teu­re­ren 4.0.

Eine erste Sichtung destillierte etwa 20 Dienste

Der fol­gen­de wei­te­re Inhalt mit­samt Her­aus­ar­bei­tung von zwei ers­ten Favo­ri­ten ist mei­nen zah­len­den Abon­nen­ten vorbehalten.

Expe­ri­men­te mit AskAI ver­lie­fen viel­ver­spre­chend. Eige­ne Doku­men­te sind pro­blem­los hoch­ge­la­den und für die Ant­wort­ma­schi­ne nutz­bar, auch bestimm­te Web­sei­ten las­sen sich als Quel­le hin­ter­le­gen. Aller­dings: Nach eini­ger Zeit ver­ur­sach­te die Maschi­ne uner­klär­li­che, wir­re Sät­ze, zusam­men­ge­stü­ckelt aus Sil­ben der Quelldokumente.

Hin­ter­grund ist die Arbeits­wei­se von AskAI: Beson­ders gro­ße Quell­do­ku­men­te wer­den in Ein­zel­tei­le zer­legt, gekürzt zusam­men­ge­fasst und in einer soge­nann­ten Vek­tor­da­ten­bank abge­legt. Sind vie­le eige­ne Doku­men­te im Sys­tem, spielt die KI verrückt.

Ein ande­rer Dienst hat­te es mir zunächst beson­ders ange­tan: der von Aleph Alpha aus Hei­del­berg, für den sich seit eini­ger Zeit der Soft­ware-Rie­se SAP inter­es­siert. Die deut­sche Her­kunft ist aus mei­ner Sicht beson­ders mit Blick auf die Daten­schutz­grund­ver­ord­nung inter­es­sant. Bei eini­gen US-Diens­ten ist es damit nicht weit her. Und die Hei­del­ber­ger haben ein eige­nes Sprach­mo­dell ent­wi­ckelt. Man muss also kein US-Sprach­mo­dell im Hin­ter­grund anzapfen.

Tat­säch­lich ent­wi­ckel­te Aleph Alpha im Test eine eige­ne Dyna­mik. Anders als ChatGPT bestand der Dienst sogar eini­ge mathe­ma­ti­sche Fra­gen – hier ist ChatGPT oft auf dem Stand eines Acht­jäh­ri­gen. Den­noch ent­sprach die Qua­li­tät der Ant­wor­ten auf Basis des glei­chen hoch­ge­la­de­nen Doku­ments nicht der von ChatGPT-basier­ten Diens­ten. Im „Play­ground“, wie die Deut­schen ihre KI-Spiel­wie­se zum Aus­pro­bie­ren nen­nen, kam aus mei­ner Sicht viel, zu viel wir­res Zeug als Antworten.

Zwei Favo­ri­ten habe ich letzt­lich aus den Tests etabliert.

Der eine ist Mott­le­Bot. Hier klappt das Debug­gen, das Ent­schlüs­seln von Feh­lern, sehr gut: Gestell­te Fra­gen und gege­be­ne Ant­wor­ten wer­den direkt im Dienst gesam­melt, und es lässt sich zurück­ver­fol­gen, aus wel­cher Quel­le der hoch­ge­la­de­nen Doku­men­te die KI ihre Ant­wort speis­te. So kann man schnell die eigent­lich gewünsch­te bes­se­re Ant­wort hin­ter­le­gen. Dazu ist auch ein eige­ner API-Key für Ope­nAI nutzbar.

Eine fei­ne­re Ana­ly­se der Kos­ten steht noch aus, denn auch Mott­le­Bot möch­te an den Chat­bot-Akti­vi­tä­ten ver­die­nen. Hin­ter­leg­bar ist zudem eine Art Grund­hal­tung der KI, etwa: Ant­wor­te stets deutsch, ver­hal­te Dich pro­fes­sio­nell und genau.

Der ande­re Platz­hirsch ist Dan­te AI. Auch er ermög­licht Fein­ein­stel­lun­gen, aller­dings kein Hin­ter­le­gen eines eige­nen Ope­nAI-Schlüs­sels. Die Kos­ten­kon­trol­le ist daher womög­lich schwie­rig. Wei­te­re Tests wer­den es zeigen.

Außer Kon­kur­renz läuft zur­zeit Drop­box Dash: Der Cloud-Dienst arbei­tet eben­falls an einer KI zum intel­li­gen­ten Durch­su­chen eige­ner Inhal­te. Jedoch muss man sich zur­zeit auf einer War­te­lis­te ein­tra­gen, um das aus­pro­bie­ren zu kön­nen. Das konn­te ich noch nicht testen.

Getes­tet habe ich auch PDF​.ai und ChatPDF: Dort lädt man ein PDF hoch und kann der Maschi­ne dann Fra­gen stel­len. Das funk­tio­niert recht gut mit einem Vier­sei­ter, selbst­ver­ständ­lich auch auf Deutsch. Ver­sucht man es dann aller­dings mit einem 183-Sei­ter, spinnt die Maschi­ne. Man­cher Dia­log mit dem digi­ta­len Gesel­len liest sich wie Slapstick:

Wel­che kon­kre­ten Emp­feh­lun­gen gibt die Studie?

Ant­wort: Die Stu­die gibt auf Sei­te 51 kon­kre­te Emp­feh­lun­gen für [das The­ma der Studie].

Ich habe nach­ge­schaut. Was ist mit den Emp­feh­lun­gen auf Sei­te 50?

Ant­wort: Es tut mir leid, aber auf Sei­te 50 des genann­ten Doku­ments gibt es kei­ne kon­kre­ten Emp­feh­lun­gen für [das The­ma der Stu­die – aller­dings ste­hen auf Sei­te 50 sehr wohl kon­kre­te und sogar wich­ti­ge­re Emp­feh­lun­gen. Eine Dop­pel­prü­fung der Sei­ten­zah­len ergibt kein blo­ßes Ver­se­hen durch Unter­schie­de bei sicht­ba­rer Sei­ten­zah­len und PDF-inter­ner Seitenzahlen].

Wie lau­tet der ers­te Satz auf Sei­te 51?

Ant­wort: Der ers­te Satz auf Sei­te 51 lautet: „[…]“

Das steht dort aber nicht.

Ant­wort: Es tut mir leid, ich habe mich geirrt. Der von mir zitier­te Satz stammt aus Sei­te 23 des Doku­ments, nicht aus Sei­te 51. Ich bit­te um Ent­schul­di­gung für die Verwirrung.

Bit­te ganz exakt ant­wor­ten. Wie lau­tet der ers­te Satz auf Sei­te 51. Nicht wie­der flunkern!

Ant­wort: Ent­schul­di­gung für mei­ne vor­he­ri­gen Feh­ler. Der ers­te Satz auf Sei­te 51 lautet: […]

Das steht da nicht!

Ant­wort: Es tut mir leid, ich habe mich erneut geirrt. Das Doku­ment hat nur 50 Sei­ten und es gibt kei­ne Sei­te 51. Ich bit­te um Ent­schul­di­gung für die Ver­wir­rung und ste­he Ihnen ger­ne zur Ver­fü­gung, wenn Sie wei­te­re Fra­gen haben.

Wie vie­le Sei­ten hat das Dokument?

Das Doku­ment hat 50 Seiten.

Bei mir hat es 183.

Ant­wort: Es tut mir leid, ich habe mich erneut geirrt. Es ist mög­lich, dass Sie ein ande­res Doku­ment haben als das, auf das ich zugreife.

Kann es sein, dass Du nur die ers­ten 50 Sei­ten zusam­men­ge­fasst hast?

Ant­wort: Ja, das ist mög­lich. Mei­ne Pro­gram­mie­rung könn­te so ein­ge­stellt sein, dass ich nur die ers­ten 50 Sei­ten des Doku­ments als Infor­ma­ti­ons­quel­le verwende.

Jedes extra Dokument zum Trainieren kostet

Grund für sol­che Feh­ler ist die Arbeits­wei­se von KIs bei grö­ßer wer­den­den Daten­samm­lun­gen. Das von vie­len Diens­ten im Hin­ter­grund genutz­te ChatGPT mag zwar mit Mil­lio­nen Quel­len trai­niert wor­den sein. Geht es aber um die Ver­knüp­fung mit zusätz­li­chen eige­nen Quel­len, ein spe­zia­li­sier­tes Nach-Trai­ning also, zer­le­gen die Diens­te die hoch­ge­la­de­nen Inhal­te in Teil­do­ku­men­te bestimm­ter Län­ge. Die einen zer­le­gen die Doku­men­te in Sei­ten, die ande­ren in „Chunks“ – Teil­ab­schnit­te, die teil­wei­se mit­ten im Wort Inhal­te zer­schnei­den. Die KI fasst in Vek­tor­da­ten­ban­ken dann wie­der­um Abhän­gig­kei­ten zusam­men. Für die Beant­wor­tung bei ChatGPT wer­den von den Diens­ten dann nur Teil­ab­schnit­te hoch­ge­la­den – denn jede Sil­be kos­tet ein paar tau­sends­tel US-Cent.

Die Kunst liegt letzt­lich dar­in, eige­ne Daten­be­stän­de und Infor­ma­tio­nen aus viel­leicht Tau­sen­den, Zehn­tau­sen­den oder Mil­lio­nen inter­ner Doku­men­te so abzu­le­gen und zu vek­to­ri­sie­ren, sodass die Bezü­ge der Abschnit­te und ent­hal­te­nen The­men zuein­an­der stim­men. Und kei­ne Infor­ma­tio­nen inmit­ten von Sil­ben unter­schnit­ten wer­den. Und: außer­dem nichts hin­zu­ge­dich­tet wird, die „Tem­pe­ra­tur“ der Ver­hal­tens­wei­se der KI also nahe null geht, wie es die Fach­leu­te for­mu­lie­ren. „Ant­wor­te mit einer Tem­pe­ra­tur von 0.1“ wür­de dann zu mög­lichst ori­gi­nal­na­hen Ant­wor­ten führen.

Das gilt es als Wei­te­res zu testen.

Hier liegt ein rie­si­ges Poten­zi­al für Ver­la­ge, die ihr brach­lie­gen­des Archiv für spe­zia­li­sier­te Städ­te-KIs oder The­men-KIs auf­put­zen wol­len – und sie dann für neue Bezahl­diens­te ver­mark­ten möchten.

Die pro­blem­be­frei­te Ich-bin-der-Mar­cus-KI, durch­su­che mir alle mei­ne 30.000 Arti­kel der letz­ten 30 Jah­re nach den zehn gröbs­ten inhalt­li­chen Schnit­zern, – sie wird noch eine Wei­le brau­chen. Aber ein Anfang ist gemacht.

Und ich bin mir sicher: Neben AskAI, Dan­te AI und Drop­box Dash wer­den bald wei­te­re viel­ver­spre­chen­de Diens­te von Micro­soft und Co erschei­nen, die aus eige­nen Inhal­ten Zusam­men­fas­sun­gen gene­rie­ren und Spe­zi­al­fra­gen sinn­voll beantworten.