Der (IT) Blog aus Braunschweig
Alle Meldungen rund um den Persönlichen Sprachassistenten aka Carola.
Benutzer, die Carola PVA per RPM installiert haben, mußten leider feststellen, daß Ihr Assistent nicht funktioniert hat.
Der Push der „KI“ Funktion hat leider bei allen, die keine „KI“ Config hatten, und das dürften viele gewesen sein, zu einem kleinen Startproblem geführt. Wer die Githubversion benutzt hat, hatte da weniger Probleme.
Die Patche dafür sind raus, die RPM’s auch, also updated jetzt bitte und startet dann den Clienten neu.
Seit letztem Dienstag bastel ich mit lokalen LLM rum. Dazu habe ich Alpaca ausprobiert, daß als Flatpak installiert wurde.
Das zuerst wählt man sich eins oder mehrere Sprachmodelle aus, die man benutzen will:
Danach kann man direkt loslegen, weil Alpca als Frontend für Ollama alles nötige macht:
– Ollama als Dienst starten
– die Modelle vorbereiten und pullen
– eine Eingabeoberfläche mit HTML Ausgabe bereitstellen.
Wer jetzt nur mit dem Modell Spielchen treiben will, kann direkt anfangen. Wer aber ohne die Oberfläche jedes mal starten zu müssen, mit den Modellen interagieren möchte, der sollte Ollama selbst installieren.
Dazu einfach root werden und das Install Script starten. Wenn man bereits 3D-vollständige Grafikkarteninstallationen hat, passiert nicht viel, außer:
– Ollama User wird angelegt
– Systemd Service erstellt
– Ollama initialisiert
Mehr braucht es nämlich gar nicht. Das Ganze wird mit einer einzigen Zeile gestartet:
$ curl -fsSL https://ollama.com/install.sh | sh
Nach dem Start sieht das dann so aus:
Hmm, Zwei Ollama’s … ja klar, eins vom Flatpak und eins haben wir je gerade installiert.
Weil das Vorbereiten der Modelle und das Pullen der Datenblobs nicht jedermans Sache ist, klauen wir uns jetzt die Daten vom Flatpak und schieben es der eigenen Installation unter 😀 Alpaca beendet man jetzt am besten
$ su root
$ systemctl stop ollama
$ mv /usr/share/ollama/.ollama /usr/share/ollama/.ollama.old
$ mv /home/$USER/.var/app/com.jeffser.Alpaca/data/.ollama /usr/share/ollama
$ chown ollama: -R /usr/share/ollama/.ollama
$ systemctl enable -now ollama
Fertig. jetzt könnt Ihr direkt mit den installierten Modellen arbeiten und braucht keine GUI mehr. Das erlaubt unserer Freundin Carola jetzt Ollama direkt auf Port 11434 anzusprechen und Ihre Fähigkeiten zu erweitern 😉
Diese Sprachmodelle sind riesig und werden komplett in den Speicher geladen. Unter 16 GB Ram geht da gar nichts, weil Carolas STT Dienst ja auch schon 3,2 GB Ram haben will und die Modelle meisten größer als 5 GB sind.
Wie das alles genau geht, gibt es nächstes Linux am Dienstag 😉
Als kleine Vorschau, was Euch qualitativ so erwartet, wenn Ihr den Kram lokal bei Euch laufen lasst, hier ein Bericht von einem „KI“-Assistenten-Gadget, von dem ich genau weiß, was es getan hat :DDD
Wer dagegen lieber live bei der Zerstörung von „KI“ dabei ist, der ist besser nächste Woche Dienstag um 19 Uhr bei Linux am Dienstag dabei :DDD
Wer mal bewusst gekauftes Sponsering für ein Produkt erleben möchte, der schaut sich zum Rabbit R1 das mal an:
„gekauft“, weil das Teil so schlecht ist, daß das unmöglich nicht aufgefallen sein kann 😉
Ihr wollt nicht mit ChatGPT reden, sondern nur einer lokalen „Intelligenz“ ?
Ihr wollt von Eurem PC wissen, ob er Eure Klamottenwahl gut findt?
Ihr wißt nicht, was das Ding ist, daß Euch Euer Kumpel im Suff geschenkt hat?
Nun.. alle diese Fragen und noch viel mehr kann Eure Carola jetzt für Euch beantworten 😀
Alpaca hat mir ein neues Spielzeug installiert: LLAVA 😀
Das ist eine Large Language Modell das auch Bilder erkennen kann. „Bilder erkennen?“ das schreit geradezu nach einem Assistenten dem man einen Gegenstand in die Kamera hält und der den Gegenstand dann identifiziert, ergo geht das jetzt 😀
Sinnvoll kann das für Menschen mit Sehbehinderung sein, auch wenn das schwierig ist, den Fokus der Kamera so zu treffen, daß das Bild scharf genug ist. Da gehört etwas Übung dazu und massenhaft Geduld, weil so eine „KI“ hat viel Fantasie!
Natürlich kann man auch nach Bildern suchen und das Suchergebnis an das LLM zur Analyse senden, genau wie man das Suchergebnis vorher schon mit GIMP oder Krita öffnen konnte. Ihr sagt nach der Suche einfach : „was ist auf den Bildern zu sehen?“ und sie werden Euch erklärt. Das eigentliche Problem dürfte die Suche sein, weil wer nur durchnummerierte Smartphonebilder hat… viel Spaß 😀
Vielleicht raffe ich mich ja auf und baue eine neue Suche, bei der das LLM das Bild analysiert und eine Beschreibung abspeichert, die man dann später durchsuchen kann. Quasi ein automatisches Bilder-Tagging.
Ihr könnte natürlich jedes LLM nutzen, daß Alpaca euch installiert. Das Programm muß zur Zeit noch laufen, oder Ihr installiert OLLama selbst, dann gehts auch so. Das Model Eurer Wahl muß dann nur in der Konfig von Carola stehen.
Lest Euch einfach mal die LLM Sektion in den Docs von Carola durch:
https://github.com/Cyborgscode/Personal-Voice-Assistent/blob/main/README.md