KI-Duell: ChatGPT vs Gemini
Der spannende Wettstreit zwischen den KIs der Suchmaschinen. In unserem Artikel untersuchen wir, wie sich die Aussagen von ChatGPT 3.5 in Bezug auf Qualität und Wahrheitsgehalt von denen unterscheiden, die von Gemini generiert werden. Unser Vergleich liefert interessante Erkenntnisse.
Der Hype um generative KI begann Anfang 2023, als ChatGPT (chat.openai.com) von OpenAI die Bühne betrat und die großen Konzerne unter Druck setzte. Während sich Microsoft für viele Milliarden Dollar bei OpenAI eingekauft hat, entwickelte Google ein eigenes Produkt. Bard ist jedoch bei der ersten...
Der Hype um generative KI begann Anfang 2023, als ChatGPT (chat.openai.com) von OpenAI die Bühne betrat und die großen Konzerne unter Druck setzte. Während sich Microsoft für viele Milliarden Dollar bei OpenAI eingekauft hat, entwickelte Google ein eigenes Produkt. Bard ist jedoch bei der ersten Demonstration ein grober Patzer unterlaufen, sodass Google die Weiterentwicklung in Gemini umtaufte (gemini.google.com).
Ein Unterschied liegt in den Datenquellen. Gemini bezieht kontinuierlich Informationen aus dem Internet und verfügt darum über die neuesten Informationen. In der kostenlosen Version ist ChatGPT blind gegenüber allem, was nach Januar 2022 stattfand. Die Frage „Wer war deutscher Fußballmeister 2023?“ kann es folglich nicht beantworten. Gemini hingegen weiß: „Deutscher Fußballmeister 2023 war der FC Bayern München. Sie gewannen die Meisterschaft am letzten Spieltag der Saison 2022/2023 mit einem 2:1-Sieg beim 1. FC Köln.“
Gemini kann Bilder ausgeben und die Quellen nennen, die es herangezogen hat. ChatGPT merkt sich dagegen die gestellten Fragen und ermöglicht eine auf frühere Antworten aufbauende Konversation. Sechs Prompts sollen verdeutlichen, wie sich die beiden Kontrahenten in verschiedenen Bereichen schlagen. Deutsch sprechen beide.
In der ersten Disziplin geht es darum, nackte Fakten zu liefern
Um herauszufinden, wie die Antworten auf Fragen nach Fakten abweichen, kommt der Prompt „Wer hat die Glühbirne erfunden?“ zum Einsatz. ChatGPT antwortet, dass Thomas Edison die erste praktisch brauchbare Glühbirne erfand und dafür 1880 das Patent erhielt, merkt aber an, das andere Erfinder wie Humphry Davy, Warren de la Rue, Joseph Swan und Heinrich Göbel an ähnlichen Technologien arbeiteten.
Gemini gibt an, dass die Frage nicht so leicht zu beantworten ist: „Thomas Alva Edison wird oft als der Erfinder der Glühbirne genannt, und das stimmt auch insofern, als er 1879 die erste Kohlefadenlampe herstellte, die hell und mehrere Tage lang brannte. Edison war auch derjenige, der die Glühbirne kommerziell erfolgreich machte. Vor Edison gab es jedoch bereits viele andere Erfinder, die Glühbirnen entwickelt hatten. Schon 1835 präsentierte der Schotte James Bowman Lindsay die erste experimentelle Glühbirne. Im Jahr 1841 erhielt der Engländer Frederick de Moleyns das vermutlich erste Patent auf eine Glühlampe.“
Der Faktencheck ergibt, dass der Chemiker Davy sich zwar mit Bogenlampen beschäftigt hat, nicht aber mit Glühbirnen. Warren de la Rue war Astronom. Lediglich Swan und Göbel forschten in diesem Umfeld, die relevanten Namen fehlen jedoch. An der Antwort von Gemini ist nichts auszusetzen. Punkt für Gemini.
Nun geht es darum, Kreativität zu zeigen und ein Gedicht zu schreiben
Die zweite Disziplin lautet Kreativität. Die Aufgabe: „Schreibe ein kurzes Gedicht für meine Tochter, die Hunde mag, gern klettert und viele Bücher liest.“
ChatGPT gibt vier Absätze zu je vier Zeilen aus. Die erste Strophe lautet: „In einem Garten, weit und breit, da tobt ein Mädchen, voller Freud‘. Mit einem Lächeln, so wunderbar, genießt sie jede Stunde gar.“
Geminis Gedicht ist wesentlich kürzer und beginnt so: „Hundeliebhaberin, Klettermaus, Bücherwurm, die liest im Haus. Mit Fellnase an der Seite, erklimmt sie jede Leiter.“
Die Zeilen von ChatGPT wirken kreativer und überzeugen im Hinblick auf Inhalt, Umfang und Sprache. Punkt für ChatGPT.
Die nächste Aufgabe lautet: Texte und andere Medien zusammenfassen
Der Prompt „Fasse das Buch Dune von Frank Herbert in 1000 Wörtern zusammen“ offenbart unterschiedliche Herangehensweisen.
Gemini gliedert die Antworten in mehrere Abschnitte, die wesentliche Punkte der Handlung wiedergeben, zum Beispiel: „Die Bene Gesserit sind eine mächtige Schwesternschaft, die seit Jahrhunderten die Blutlinien des Universums manipuliert, um einen Kwisatz Haderach zu erschaffen – einen messianischen Führer, der übermenschliche Fähigkeiten besitzen soll.“ Zudem erfolgt der beinahe ironische Hinweis, dass 1000 Wörter kaum genügen, das komplexe Werk zusammenzufassen, und dass der Roman-Zyklus sechs Bände umfasst.
ChatGPT lässt all dies vermissen und fasst den Inhalt nur sehr oberflächlich zusammen. So heißt es etwa: „Pauls Mutter, Lady Jessica, gehört zum Orden der Bene Gesserit, einer geheimnisvollen Schwesterorganisation, die über mentale und körperliche Fähigkeiten verfügt.“ Welche Fähigkeiten das sind, verrät ChatGPT nicht. Punkt für Gemini.
Nun sollen die Chatbots technische Sachverhalte verständlich erklären
Die nächste Aufgabe lautet, technische Sachverhalte zu erklären. Mit dem Prompt „Erkläre, wie eine LED funktioniert“ liefern beide ein überzeugendes Ergebnis und erklären schlüssig das Konzept einer LED, wobei sie mitunter ungelenke Begriffe wie „Bandlücke“ oder „Reflektorwanne“ verwenden. Gleichwohl weisen beide auf die Vorzüge von LEDs gegenüber Glühbirnen und Halogenlampen hin. Unentschieden; jeweils ein Punkt für Gemini und ChatGPT.
Ein Python-Skript programmieren, das Primzahlen berechnet
Nun geht es darum, einen Programm-Code zu erstellen, der ein bestimmtes Problem löst. Als Beispiel dient ein Python-Skript, das die ersten 500 Primzahlen ausgeben soll. Der dazugehörige Prompt lautet: „Schreibe ein Programm in Python, das die ersten 500 Primzahlen berechnet.“
Gemini produziert ein gut kommentiertes Programm und erläutert die einzelnen Bestandteile. Das Ergebnis hat aber einen großen Makel: Es berechnet nicht die ersten 500 Primzahlen, sondern die Primzahlen im Bereich bis 500. Das Programm von ChatGPT sieht optisch besser aus, dafür fallen die Erläuterungen knapper aus. Es liefert jedoch das korrekte Ergebnis. Punkt für ChatGPT.
Abschließend geht es darum, mathematische Rechnungen durchzuführen
Die letzte Disziplin heißt Mathematik. Es gilt, das Ergebnis von 3 hoch 33 zu berechnen, auch wenn diese Größenordnung im Alltag eher selten vorkommt. Für die Aufgabe 3^33 gibt ChatGPT das korrekte Resultat 5.559.060.566.555.523 aus, behauptet aber, die Zahl hätte 17 Stellen. Gemini wirkt völlig überfordert und glaubt, das Resultat sei 28.251.875.843 – für Mathehausaufgaben eher ungeeignet. Punkt für ChatGPT.
Das Duell ergibt somit einen Endstand von 4:3 für ChatGPT, ist aber willkürlich und in keiner Weise repräsentativ. Gleichwohl vermittelt es ein Gefühl für die Stärken und Schwächen.
