LLM ( Large Language Model ) werden ja gerne mit „KI“ (Künstlicher Intelligenz) verwechselt.. kleine Entlarvung im Beitrag 😉
Kein I in KI
Wie Ihr ja sicher wisst, wenn Ihr dies Blog öfter besucht, hat mein Sprachassistent ein (oder auch drei) LLM eingebunden und um diese zu erreichen, braucht man nur mit dem Programm reden. Also redeten wir mal folgendes:
„Carola Oliver pflückt am Freitag 44 Kiwis und 58 Kiwis am Samstag. Am Sonntag pflückt er doppelt so viele Kiwis wie am Freitag, aber fünf von ihnen waren etwas kleiner als der Durchschnitt. Wie viele Kiwis hat Oliver?“
Der Vollständigkeitshalber: ich habe den Text nicht gesprochen, sondern per NetCat geschickt, war einfacher und dann auch gleich mit Satzzeichen 😉
Antwort von Carolas LLM:
„Am Sonntag pflückt Oliver doppelt so viele Kiwis wie am Freitag. Also pflückt er 2 * 44 = 88 Kiwis am Sonntag.Da fünf Kiwis am Sonntag etwas kleiner waren als der Durchschnitt, müssen wir diese von der Gesamtzahl der am Sonntag gepflückten Kiwis abziehen. Also haben Oliver insgesamt 88 – 5 = 83 Kiwis am Sonntag gepflückt.Um die Gesamtzahl der gepflückten Kiwis zu berechnen, addieren wir die Anzahl der Kiwis, die Oliver an den drei Tagen gepflückt hat:Freitag: 44 KiwisSamstag: „58 KiwisSonntag: 83 KiwisInsgesamt hat Oliver also 44 + 58 + 83 = 185 Kiwis gepflückt“
(nicht über Notation wundern, das Model hackt sich Antwortfetzen zusammen.)
Jetzt die Frage an Euch: Stimmt das?
Eine Userin beim Linux am Dienstag Matrixraum fand dann ganz schnell den Fehler:
„Warum sollte man die 5 kleinen Kiwis abziehen müssen? Das kam nicht in der Fragestellung vor.“
Es kommen also 190 Kiwis dabei raus. „Kiwi“ und „kleine Kiwi“ sind halt für einen Computer zwei verschiedene Objektklassen, nicht eine Objektklasse mit zwei verschiedenen, zudem irrelevant, Attributen.
Das verwendete LLM Model war „mistral-nemo:latest“, das in den Tests bei Logik und Mathe am besten abgeschnitten hatte. Das das solche Schnitzer drin hat, war ja schon einmal beim „Wie oft paßt der Mond in die Erde?“ Thema 🙁
Trotz dessen ist es cool, daß das Model 99% des Satzinhalts richtig erkannt und auch richtig angewendet hat.
Solange die Modelle aber so unzuverlässig sind, brauchen wir uns über die Weltherrschaftspläne einzelner böser Pcs keine Sorgen zu machen 😉
Noch ein Beispiel:
Frage: „carola Wenn zehn musiker für das Musikstück in 3 Minuten 20 Sekunden benötigen, wie lange brauchen dann 8 Musiker und eine Putzfrau dafür?“
Antwort: „Die Dauer, die benötigt wird, um ein Musikstück zu spielen, hängt von der Anzahl der Musiker sowie von der Komplexität des Stücks ab. Wenn zehn Musiker ein Musikstück in 3 Minuten und 20 Sekunden spielen können, bedeutet das nicht automatisch, dass acht Musiker und eine Putzfrau dasselbe Stück in der gleichen Zeit spielen können.Die Putzfrau hat keine Auswirkungen auf die Dauer des Musikstücks, da sie keine Musik spielt. Wenn jedoch zwei Musiker weniger da sind, kann es sein, dass das Musikstück länger dauert, da weniger Instrumente gespielt werden.Daher ist es ohne weitere Informationen nicht möglich zu sagen, wie lange acht Musiker und eine Putzfrau benötigen würden, um dasselbe Musikstück zu spielen. Es wäre hilfreich zu wissen, ob das Musikstück einfach oder kompliziert ist und ob die fehlenden zwei Musiker wichtig für den Klang des Stücks sind“
Da beschleicht einen die Frage, wie weniger Instrumente zu einer längeren Spielzeit führen können… können sie nicht, wenn überhaupt dann zu weniger, weil Passagen von den 2 fehlenden Stimmen fehlen würden.
Die gleiche Logikfrage gibt es auch in „Wenn ein Ei 3 Minuten zum Kochen braucht, wie lange brauchen 5 Eier dafür?“. Die erwartete Antwort ist: 3 Minuten. Leider Fr. Dönitz stimmte Ihre erwartete Antwort nicht, zu Ihrem Glück, die der Schüler aber auch nicht 😉 Keiner hat damals gut dabei ausgesehen 😀 Die KI hats auch falsch gemacht, sehr falsch sogar 🙂
Hinweis: Die obige Frage mit den Kiwis wurde auch in einem Golem Beitrag gestellt und war inspirierend für weitere Tests.