Schlagwort: Llama

Das Beson­de­re: Nun kann auch ein Laie eine eige­ne KI auf dem hei­mi­schen Rech­ner instal­lie­ren. Und er darf sie sogar kom­mer­zi­ell nut­zen. Die Maschi­ne lädt anschlie­ßend ein meh­re­re Giga­byte gro­ßes Trai­nings­pa­ket aus dem Netz. Sie nimmt danach jedoch kei­nen Kon­takt mehr zu frem­den Ser­vern auf. Das ist für vie­le ein wich­ti­ges Kri­te­ri­um gegen die Nut­zung des Markt­füh­rers Chat-GPT.

Ers­te Ver­gleichs­tests zei­gen, dass Llama 2 mit ChatGPT min­des­tens mit­hal­ten kann.

Die Software ist quelloffen

Die zugrun­de lie­gen­de Soft­ware ist quell­of­fen, das heißt: Fach­leu­te aus aller Welt kön­nen im Code stö­bern und ihn wei­ter­ent­wi­ckeln. Soll­te etwas Unlau­te­res im Hin­ter­grund pas­sie­ren, wür­de es ver­mut­lich schnell entdeckt.

Bis­her gab es sol­che Model­le zwar auch schon zum per­sön­li­chen Down­load; sie waren jedoch meist nur zu For­schungs­zwe­cken nutz­bar, nicht für den kom­mer­zi­el­len Gebrauch. Und für die Instal­la­ti­on muss man sich ein wenig mit dem Dienst Git­hub aus­ken­nen und Befeh­len auf der Kom­man­do­zei­le. Das ist bei Llama 2 zumin­dest für den Mac nun anders.

Einen Haken hat die Soft­ware: Ver­bo­ten ist ihr Ein­satz von Unter­neh­men, die monat­lich mehr als 700 Mil­lio­nen Nut­ze­rin­nen und Nut­zern in bis­he­ri­gen Pro­duk­ten zäh­len – den Kon­kur­ren­ten von Meta ist der Ein­satz also untersagt.

Einfache Installation zumindest auf dem Mac

Die Soft­ware kann man sich für den Mac als leicht instal­lier­ba­res Paket her­un­ter­la­den. Zuvor muss man sich bei Meta dafür regis­trie­ren. Anschlie­ßend gibt man auf der Kom­man­do­zei­le (dem Pro­gramm „Ter­mi­nal“ auf dem Mac) den Befehl

ollama run llama2 

ein. Einen Down­load von 3,8 Giga­byte Trai­nings­da­ten spä­ter ist das kleins­te von drei Sprach­mo­del­len gela­den, und man kann mit der Maschi­ne kom­mu­ni­zie­ren. Trai­niert ist es vor­wie­gend auf Englisch.

Für Win­dows-Nut­zer gestal­tet sich die Instal­la­ti­on etwas kom­pli­zier­ter: Die Soft­ware befin­det sich in einem soge­nann­ten Repo­si­to­ry beim Dienst Git­Hub. Ein fer­ti­ges Win­dows-Paket war bis­her nicht ver­füg­bar. Eine Anlei­tung für Win­dows-Nut­zer gibt es im You­Tube-Video von 1littlecoder.

LlaMA 2 im Video

Und wie schlägt sich Metas Sprach­mo­dell? Das hier gezeig­te Video ver­mit­telt einen unge­fäh­ren Ein­druck. Es ver­steht zwar Fra­gen auf Deutsch, ant­wor­tet aber auf Eng­lisch. Die eigent­lich län­ge­ren War­te­zei­ten bis zur Ant­wort habe ich herausgeschnitten.

Llama 2 ist dahin­ge­hend trai­niert, nicht gegen ethi­sche oder gesetz­li­che Regeln zu ver­sto­ßen. Und tat­säch­lich ver­weist der digi­ta­le Gesel­le bei der Fra­ge nach dem Ham­bur­ger-Rezept von McDonald’s auf geheim­hal­tungs­be­dürf­ti­ge Unter­neh­mens­in­for­ma­tio­nen. Bei der Fra­ge nach der zehn­ten Stel­le hin­term Kom­ma bei der Zahl Pi behaup­tet die Maschi­ne, das nicht errech­nen zu können.

Gut, das ist immer noch bes­ser als ChatGPT‑4 in der aktu­el­len Ver­si­on vom 20. Juli 2023 und auch in der Ver­si­on 3.5: Die­se KI benennt fälsch­lich die 9 als zehn­te Zif­fer hin­ter dem Komma.

(Es ist nach allen mir vor­lie­gen­den Taschen­rech­nern, Siri, Wiki­pe­dia, Goog­le Bard und der gewiss ver­trau­ens­wür­digs­ten Web­sei­te aller Zei­ten zu die­ser Fra­ge die 5.)

Iro­nisch gespro­chen: Wer soll­te von einer Rechen­ma­schi­ne auch erwar­ten, rich­tig rech­nen zu können.

Interessant für Abfrage eigenen Firmenwissens

Wesent­lich inter­es­san­ter wird die eige­ne KI jedoch, wenn man sie mit eige­nen Unter­neh­mens­da­ten bekannt machen möch­te, das mög­lichst nicht die Fir­ma ver­lässt. Anlei­tun­gen dafür auf Basis von Llama 2 machen die Run­de. „Wenn Sie­mens wüss­te, was Sie­mens weiß“, lau­tet schließ­lich ein geflü­gel­tes Wort über das Unter­neh­mens­wis­sen, das bis­her schwer durch­such­bar ist.

Meta ist für Llama 2 einen Pakt mit Micro­soft ein­ge­gan­gen: Das neue Modell steht in Micro­softs Dienst Azu­re zur Ver­fü­gung – und so schließt sich der Kreis. Azu­re ist für vie­le Unter­neh­men die bevor­zug­te Cloud. Damit hat Micro­soft nicht mehr nur bei ChatGPT als Geld­ge­ber die Fin­ger im Spiel, son­dern auch bei Llama 2. Und in Win­dows soll das Sprach­mo­dell auch ein­ge­baut wer­den. Ent­wick­le­rin­nen und Ent­wick­ler kön­nen damit künf­tig eige­ne KI-Anwen­dun­gen für Win­dows-Soft­ware erstellen.

Weitere Themen

• Mei­ne bes­ten Prompts für den Hausgebrauch
• Irren ist nicht nur menschlich
• So lässt sich jeder geschrie­be­ne Text zu einem lip­pen­syn­chro­nen Video mit eige­ner Stim­me vertonen
• Alpha­be­ti­sche Fein­hei­ten: Das dis­kre­te „Ohne-dass-man-es-merkt“ offen­sicht­li­cher Formulierungen

*Prompt: Envi­si­on an advan­ced AI sys­tem encap­su­la­ted within a sleek, modern lap­top. The lap­top is open, reve­al­ing a vibrant, high-reso­lu­ti­on screen that dis­plays com­plex algo­rith­ms and futu­ristic gra­phics, indi­ca­ti­ve of the AI’s pro­ces­sing. The style should be hyper-rea­li­stic, with meti­cu­lous atten­ti­on to detail, espe­ci­al­ly on the laptop’s sur­face, reflec­ting the sur­roun­ding envi­ron­ment subt­ly. The light­ing should be soft and ambi­ent, cas­ting a gent­le glow on the lap­top and its sur­roun­dings. The color palet­te should be cool and metal­lic, with a focus on sil­vers, blues, and whites. The com­po­si­ti­on should be a clo­se-up shot, using a 50mm lens to cap­tu­re the lap­top and its imme­dia­te sur­roun­dings in sharp focus. Use the para­me­ters: –ar 16:9 –v 5.2 –style raw –q 2 –s 750