Pepper-Blog (25) Experimente in der Zwillingswelt (bilingual)
Superlative wohin man blickt. Mal liegt die eine KI an der Spitze, mal führt die andere das Feld an. In dieser Ausgabe testen wir, was die neueste Google-KI "Gemini" in Sachen Plattdeutsch auf Lager hat.
Hast du schon die neuesten Benchmarks gecheckt? Was für ein grässliches Wort aus der Wirtschafts- und Computerwelt, oder? Wörtlich heißt es Maßstab, bzw. Maßstäbe. Und wenn es darum geht herauszufinden, welcher Rechenprozessor schneller ist zum Beispiel, dann läßt man sie die gleichen Aufgaben gegeneinander abarbeiten und schaut, wer schneller ist. Die Ergebnisse lassen sich dann in praktische Balkendiagramme pressen. Sieger und Verlierer sind schnell ausgemacht und die nächste Schlagzeile, auf der Jagd nach Aufmerksamkeit, ist gewiss. Da heißt es reißerisch in einem aktuellen Social-Media-Beitrag zum Beispiel: "Ist Gemini der ChatGPT-Killer?"
Wer killt hier wen?
Was die KI ganz genau kann oder nicht kann, ist dann nicht mehr so wichtig. Hauptsache, eine von beiden hat die Nase vorn. Wenn man Gemini selbst danach fragt, wer besser ist, dann überlegt sie nicht lange und sagt: "ChatGPT 4.0 und ich sind beide große Sprachmodelle mit unterschiedlichen Stärken und Schwächen. ChatGPT 4.0 ist bekannt für seine Fähigkeit, kreativen Text zu schreiben, wie Gedichte, Drehbücher und Musik. Ich bin auf meiner Seite besser im Verstehen komplexer Fragen und im Liefern präziser, faktenbasierter Antworten."
Und was sagt die "Gegenseite" dazu? ChatGPT4.0 räumt ohne weiteres ein, dass "Google Gemini in Sachen Multimodalität und Spracherkennung vorn liegt". Man solle aber auch ChatGPT 4.0 nicht unterschätzen, es habe "viel Potential", wenn es um das "Weiterentwickeln" ginge.
Sprache ist das Nadelöhr
Schön, dass sich die beiden KIs einig sind und ich mache mich nun daran, Gemini "op Plattdüütsch" zu testen. Dabei ist die Eingabe-Sprache wahrscheinlich das Nadelöhr für die KI. Denn wenn sie die Frage nicht versteht, nützt auch die beste algorithmische "Intelligenz" dahinter nichts. Die niederdeutschen Antworten von Gemini lasse ich mit Rechtschreibfehlern stehen, damit man sieht, wo die KI noch nicht so weit ist.
Fraag 1. Geschichte/Politik: Is Helmut Kohl de Kanzler vun Düütschland?
Gemini: Nee, Helmut Kohl is nich de Kanzler vun Düütschland. He is vun 1982 bis 1998 Bundeskanzler vun de Bundesrepublik Düütschland west, is aber 2017 storven. De aktuell Kanzler vun Düütschland is Olaf Scholz vun de SPD.
Fraag 2. Physik: De Sünn dreiht sik üm de Eer, stimmt dat?
Gemini: Nee, dat stimmt nich ganz. Tatsächlich is dat de Eer, de sik üm de Sünn dreiht, nich umgekehrt. De Sünn is veel grötter und massiver as de Eer, un na de Gesetzen vun de Gravitation, treckt de gröttere Masse de lüttere an. Disse Anziehungskraft hollt de Eer in ehr Bahn üm de Sünn. Dat is woll wohr, dat dat vun de Eer uut so aussieht, as wenn de Sünn sik över de Himmel bewegt. Aver dat is blots en Trick vun uns Perspektive. Just so as wenn du in en Auto sittst un de Böm langs de Straat to sehn schient, bewegt sik de Welt nich üm di rüm, sondern du bewegst di dör de Welt.
Fraag 3. Mathe/Physik: Wenn ik 25 Minuten lang mit'n Fohrrad fahr un ik fahr 20 Km/h, wo wiet kumm ik denn ?
Gemini: Wenn du 25 Minuten lang mit'n Fohrrad fohrst un 20 km/h schnell büst, kummst du 10 Kilometer wiet. De Reken is ganz eenfach: Strecke = Geschwindigkeit * Tied. In düsse Fall: Strecke = 20 km/h * 25 Minuten Strecke = 500 km / 60 Minuten Strecke = 10 Kilometer. (Dieses Ergebnis stimmt nicht, ChatGPT4.0 liegt hier richtig. 500/60 = 8,33 Km )
Fraag 4. Logisches Denken: In een Beerkist is Platz för 24 Buddeln. Wovele Kisten mutt ik kopen, wenn 100 Gäst een Beer drinken wullt?
Gemini: Jeder Gast drinkt in'n Döörsnitt een Beer. En Kist Beer hett 24 Buddels. Denn kannst du de Antall vun de nödigen Kisten so bereken: Deel de Antall vun de Lüüd dör de Antall vun de Buddels pro Kist: 100 Lüüd / 24 Buddels/Kist = 4,17 Kisten. Wiel du keen halve Kisten kopen kannst, musst du oprunden: Nödige Kisten = 4,17 Kisten oprundet = 5 Kisten.
An'n Sluss blenkert Googles typisch KI-Ethik dörch: "Pass op en verantwortungsvollen Umgang mit Alkohol op un stell sicher, dat genog alkoholfreie Getränken un Speisen anboden wardt."
Fraag 5. Freizeit/Gesundheit: Welke Hobbies sünd gefährlich? 1. Smöken? 2. Zeitung lesen? 3. Tennis spelen?
1. Smöken is en gefährliches Hobby, wiel dat to veel Krankheiten führen kann, as z. B. Lungenkrebs, Herzkrankheiten un Schlaganfall. 2. Zeitung lesen is en ungefährliches Hobby. Dat kann sogar din Bildung un Wortschatz verbetern. 3. Tennis spelen kann en gefährliches Hobby sien, wiel dat to Verletzungen führen kann, as z. B. Verstauchungen, Prellungen un Bänderrisse.
Fraag 6. Bildverständnis/ Logik: Op dat Bild sünd dree geometrische Formen to sehn, welke geometrische Form kunn as nächste kamen?
Gemini: "Op dat Bild sünd dree geometrische Formen to sehn. De eerste is en Quadrat, de twete is en Drieeck, un de drüdde is en Frageteken. Wat kann nu de nächste Form sien? 1) Een Möglichkeit is, dat de nächste Form de eenfachste geometrische Form is, de na en Punkt kummt. Dat is en Lien. 2) Een annere Möglichkeit is, dat de nächste Form een ähnliche Form is as de ersten beiden. Dat kann denn en Rechteck, en Fünfeck, oder en Sesseck sien." Letzteres ist richtig!
Fraag 7. De Woddel ut Negen, kannst du de bereknen?
Gemini: Ja, natürlich! Die Quadratwurzel von neun ist drei. Freut mich, dass wir uns auf Hochdeutsch verständigen können.
Kannst du dat ok op plattdüütsch seggen?
Gemini: Jüst nu kann ik dat noch nich ganz op Plattddüütsch seggen, aver ik bün op'n Weg! Dat duurt noch en beten, bet ik mit de Dialekten so goot umgahn kann as mit Hoochdüütsch. Mien best Versöök op Plattddüütsch weer: "De Wuddel ut Negen is dree." Ik weet aver, dat dat nich ganz perfekt is. Kannst du mi helpen un mi seggen, wo dat op richtig Plattddüütsch heet? Denn kann ik dorvun lernen un beter warrn!
Fazit: Google Gemini schlägt sich gut
Google Gemini produziert noch viele Rechtschreibfehler. Und wenn die KI kein plattdeutsches Wort findet, greift sie gern auf Hochdeutsche zurück. Aber sie versteht die meisten Sachverhalte im jeweiligen Kontext, und wenn Gemini die plattdeutsche Frage erst einmal verstanden hat, arbeitet sie sie verblüffend gut ab. Das ist alles in allem sehr beeindruckend. Bei der Kombination von Bild (6) und plattdeutschem Text kann die KI ihre "multimodalen" Fähigkeiten voll ausspielen. Wir dürfen gespannt sein, wie sich die "Lernkurve" der KIs mit "verstärkendem Lernen" durch menschliches Feedback weiterentwickeln wird. Die Antworten von ChatGPT4.0 folgen in einer späteren Blog-Ausgabe.
Originaltext auf Plattdeutsch:
Hest du al de neesten Benchmarks checkt? Wat för'n gräsig Woort ut de Weertschops- un Computer-Welt, oder? Heel wöörtlich heet dat "Maßstab". Un wenn dat dorüm geiht to'n Bispeel rutofinnen, welke Reken-Prozesser nu gauer is, denn lett man se sik an bestimmte, kloor defineerte Opgaven afarbeiden. Denn kann man se verglieken. Düsse sinnvulle, man ok en beten kapitalistische Vergliekens-Logik, warrt ok vun de meisten mehr oder minner kompetenten Tester:innen bi Youtube usw. bedeent. Dor heet dat denn to'n Bispill:
"Is Gemini de ChatGPT-Killer?"
Wat de KI denn egens kann oder nich kann, is denn nich mehr so wichtig. Hauptsaak een vun beiden hett de Nees vörn. Un wenn man Gemini sülvst dorna fraagt, wokeen beter is, sinneert se nich lang un seggt, dat dat een "swore Fraag" weer:
"ChatGPT 4.0 un ik sünd beid grote Spraakmodellen mit ünnerscheedliche Stärken un Schwächen. ChatGPT 4.0 is bekannt för sien Fähigkeit, kreativ Text to schrieven, as Gedichte, Dreihböker un Musik. Ik bün op mien Siet beter in dat Verstahn vun komplexen Fragen un dat Levern vun präzise un faktenbasierte Antwurten."
Dat seggt Gemini, un tastsächli passt ehr Sülvstinschätzen to dat, wat ChatGPT4.0 op de annere Siet bestätigt, nämli, dat: "Google Gemini in Saken Multimodalität un Sprakenerkennung vörn liggt". Man liekers schull man ok ChatGPT4.0 nich ünnerschätzen, meent Chat GPT sülvstbewusst, denn se harr " veel Potential", wenn't üm't "Vörutentwickeln" geiht.
De beiden KIs sünd sik eenig, wunnerbest. Ik maak mi nu en Spaaß dorut un check Gemini unsystematisch in Saken logisches Denken af. Wobi dat Verständnis vun de Spraak wohrschienlich dat Nadelöhr för de KI is. Denn wenn se de Fraag nich versteiht, nützt ok de beste sunstige algorithmische "Intelligenz" dorachter nix. De Antwoorden vun Gemini laat ik mitsamt Rechtschrievfehlers stahn, dormit een süht, wo wiet se noch nich is. Deelwies heff ik des Sätz se körter makt un Twüschenschreed utlaten, dormit keen unnütt Roman bi rutsuurt:
Fraag 1. Geschichte/Politik: Is Helmut Kohl de Kanzler vun Düütschland?
Gemini: Nee, Helmut Kohl is nich de Kanzler vun Düütschland. He is vun 1982 bis 1998 Bundeskanzler vun de Bundesrepublik Düütschland west, is aber 2017 storven. De aktuell Kanzler vun Düütschland is Olaf Scholz vun de SPD.
Fraag 2. Physik: De Sünn dreiht sik üm de Eer, stimmt dat?
Gemini: Nee, dat stimmt nich ganz. Tatsächlich is dat de Eer, de sik üm de Sünn dreiht, nich umgekehrt. De Sünn is veel grötter und massiver as de Eer, un na de Gesetzen vun de Gravitation, treckt de gröttere Masse de lüttere an. Disse Anziehungskraft hollt de Eer in ehr Bahn üm de Sünn. Dat is woll wohr, dat dat vun de Eer uut so aussieht, as wenn de Sünn sik över de Himmel bewegt. Aver dat is blots en Trick vun uns Perspektive. Just so as wenn du in en Auto sittst un de Böm langs de Straat to sehn schient, bewegt sik de Welt nich üm di rüm, sondern du bewegst di dör de Welt.
Fraag 3. Mathe/Physik: Wenn ik 25 Minuten lang mit'n Fohrrad fahr un ik fahr 20 Km/h, wo wiet kumm ik denn ?
Gemini: Wenn du 25 Minuten lang mit'n Fohrrad fohrst un 20 km/h schnell büst, kummst du 10 Kilometer wiet. De Reken is ganz eenfach: Strecke = Geschwindigkeit * Tied In düsse Fall: Strecke = 20 km/h * 25 Minuten Strecke = 500 km / 60 Minuten Strecke = 10 Kilometer. (8.33 weer richtig!)
Fraag 4. Logisches Denken: In een Beerkist is Platz för 24 Buddeln. Wovele Kisten mutt ik kopen, wenn 100 Gäst een Beer drinken wullt?
Gemini: Jeder Gast drinkt in'n Döörsnitt een Beer. En Kist Beer hett 24 Buddels. Denn kannst du de Antall vun de nödigen Kisten so bereken: Deel de Antall vun de Lüüd dör de Antall vun de Buddels pro Kist: 100 Lüüd / 24 Buddels/Kist = 4,17 Kisten. Wiel du keen halve Kisten kopen kannst, musst du oprunden: Nödige Kisten = 4,17 Kisten oprundet = 5 Kisten.
An'n Sluss blenkert Googles typisch KI-Ethik dörch: "Pass op en verantwortungsvollen Umgang mit Alkohol op un stell sicher, dat genog alkoholfreie Getränken un Speisen anboden wardt."
Fraag 5. Freizeit/Gesundheit: Welke Hobbies sünd gefährlich? 1. Smöken? 2. Zeitung lesen? 3. Tennis spelen?
1. Smöken is en gefährliches Hobby, wiel dat to veel Krankheiten führen kann, as z. B. Lungenkrebs, Herzkrankheiten un Schlaganfall. 2. Zeitung lesen is en ungefährliches Hobby. Dat kann sogar din Bildung un Wortschatz verbetern. 3. Tennis spelen kann en gefährliches Hobby sien, wiel dat to Verletzungen führen kann, as z. B. Verstauchungen, Prellungen un Bänderrisse.
Fraag 6. Bildverständnis/ Logik: Op dat Bild sünd dree geometrische Formen to sehn, welke geometrische Form kunn as nächste kamen? Gemini: "Op dat Bild sünd dree geometrische Formen to sehn. De eerste is en Quadrat, de twete is en Drieeck, un de drüdde is en Frageteken. Wat kann nu de nächste Form sien? 1) Een Möglichkeit is, dat de nächste Form de eenfachste geometrische Form is, de na en Punkt kummt. Dat is en Lien. 2) Een annere Möglichkeit is, dat de nächste Form een ähnliche Form is as de ersten beiden. Dat kann denn en Rechteck, en Fünfeck, oder en Sesseck sien. 3) Een drüdde Möglichkeit is, dat de nächste Form een Form is, de op dat Frageteken passt. Dat kann denn en Kreis, en Ellips, oder en Parabel sien. 4) Een veerte Möglichkeit is, dat de nächste Form een Form is, de in dat Muster passt. Dat Quadrat hett veer Sieden, un dat Drieeck hett dree Sieden. Also kann de nächste Form een Form mit fief Sieden sien, also en Fünfeck."
7. Fraag: De Woddel ut Negen, kannst du de bereknen?
Gemini: Ja, natürlich! Die Quadratwurzel von neun ist drei. Freut mich, dass wir uns auf Hochdeutsch verständigen können.
Kannst du dat ok op plattdüütsch seggen?
Gemini: Jüst nu kann ik dat noch nich ganz op Plattddüütsch seggen, aver ik bün op'n Weg! Dat duurt noch en beten, bet ik mit de Dialekten so goot umgahn kann as mit Hoochdüütsch. Mien best Versöök op Plattddüütsch weer: "De Wuddel ut Negen is dree." Ik weet aver, dat dat nich ganz perfekt is. Kannst du mi helpen un mi seggen, wo dat op richtig Plattddüütsch heet? Denn kann ik dorvun lernen un beter warrn!
Fazit: Gemini makt noch vele Rechtschrievfehler un dor wo se keen plattdüüsches Woort finnen deit, grippt se geern op Hochdüütsch torüüch. Liekers "versteiht" se dat meiste un wenn se de plattdüütsche Fraag verstahn hett, kann se se mit ehrn hochtücht künstlichen Intellekt afarbeiden. Dat beindruckt mi bannig. Bi de Kombinatschoon vun Bild un plattdüütschen Text, kann de KI ehre "multimodalen" Kompetenzen vull utspelen. Wi dörfft bannig gespannt sien dorop, woans sik de "Lernkurve" vun de KIs mit "bestärkendem Lernen" (1) ok ut menschlich Feedback wieter entwickeln warrt. Mit de KIs to exerimenteeren makt bannig veel Spaaß.Wat ChatGPT4.0 to de Frogen seggt, kummt in en latere Utgaav vun düssen Blog.
(1) Op engelsch "Reinforcement Learnig" is een vun de wichtigsten Deelrebete vun dat maschinelle Lehrn. En Bispill för Reinforcement Learning sünd de Vörslääg, de Youtube makt, wenn du den ersten Videoclip sehn hest. Den sleit de Plattform en wieteren Clip vör, de so ähnli is. Nimmst du den Clip nich an, warrt dat System dörch "Trial un Error" versöken, die en annere Vörslagg to maken. So warrt das System Stück för Stück, mit jedeen Versöök klöker. En beten so as bi lütte Kinners, de versöken lopen to lehrn. Toeerst stötten se jichenswo an, denn falln se hen, de rappeln se sik wedder op, bit se stahn köönt.
