Googles neue Gemini-Reihe - Experimentell

Google hat kürzlich neue Modelle von Gemini veröffentlicht.

Tatsächlich handelt es sich nicht um die offizielle Version, sondern um eine experimentelle (Experimental) Version.

Diese Modelle sind:

• Gemini 1.5 Pro Exp
• Gemini 1.5 Flash Exp
• Gemini 1.5 Flash 8B Exp

Zunächst einmal kann man sagen, dass 1.5 Pro Exp und 1.5 Flash Exp als Updates der vorherigen Versionen betrachtet werden können. Wenn man sie tatsächlich testet, stellt man fest, dass 1.5 Pro Exp im Vergleich zu der bisherigen 1.5 Pro Version eine etwas bessere Leistung erbringt (die Benchmark-Leistung hat sich verbessert. Ich habe zwar keine Daten dazu, aber man kann sagen, dass es die beste Version unter den bisher veröffentlichten ist). Auch 1.5 Flash Exp ist zwar nicht die beste, aber unter den Einsteigerversionen die am deutlichsten verbessert wurde.

Laut Angaben werden diese beiden Versionen innerhalb weniger Wochen in die vorherigen Versionen 1.5 Pro und 1.5 Flash integriert. (Die vorherige Version war 001, daher wird sie wahrscheinlich auf Version 002 aktualisiert.)

Wenn man sich die Tabelle ansieht, findet man Gemini 1.5 Pro Exp auf Platz 2 und Gemini 1.5 Flash Exp auf Platz 6.

Interessant ist, dass 1.5 Flash Exp sogar über 1.5 Pro, welches auf Platz 10 und 11 liegt, platziert ist.

Die Plätze 1 bis 5 belegen die Flagship-Versionen der jeweiligen Unternehmen (GPT 4o, Gemini 1.5 Pro, Grok 2), die Plätze 6 und 7 die Einsteigerlinien (GPT 4o mini, Gemini 1.5 Flash). Eine Zeit lang war Claude 3.5 Sonnet ganz oben, aber… die Geschwindigkeit der Entwicklung in diesem Bereich ist wirklich unglaublich…

Jedenfalls gehe ich davon aus, dass diese beiden Versionen (1.5 Pro, 1.5 Flash) in Zukunft zu offiziellen Versionen werden. Was mich derzeit interessiert, ist die 1.5 Flash 8b Version.

Schauen wir uns zunächst einmal den Benchmark an.

Wenn man sich den obigen Benchmark ansieht, kann man feststellen, dass die Leistung von 1.5 Flash 8b Exp in etwa der von Claude 3 Sonnet entspricht und sich im Allgemeinen etwas unterhalb von 1.5 Flash, aber in etwa auf dem Niveau von Llama 3 70 b befindet.

Flash ist eine abgespeckte Version von Pro, aber Flash 8b ist eine noch abgespecktere Version davon. (Wahrscheinlich ist das so, oder?)

Ich habe einige Tests durchgeführt, darunter einige, die wir in unserem Service „durumis“ häufig verwenden.

• Übersetzen.
• Zusammenfassen.
• Texte schreiben.

Es gibt viele andere Tests an anderer Stelle, daher habe ich nur ein paar einfache Tests durchgeführt. Beim Übersetzen eines Textes mit einer komplexen JSON-Struktur lieferte Flash keine zufriedenstellenden Ergebnisse, aber die Pro-Reihe schon. Darüber hinaus lieferte die Pro Exp Version ein noch saubereres Ergebnis.

Beim Zusammenfassen und Schreiben von Texten lieferten sowohl Flash als auch Flash 8b zufriedenstellende Ergebnisse. Es zeigt sich, dass Flash 8b für einfache Aufgaben verwendet werden kann, solange es sich nicht um hochkomplexe Aufgaben handelt.

Berücksichtigt man die Leistung und die Parameter, so gehe ich davon aus, dass Google Flash 8b bei der offiziellen Veröffentlichung zu einem sehr günstigen Preis anbieten wird.

Wahrscheinlich wird der Preis so niedrig angesetzt sein, dass er den bestehenden Angeboten anderer Unternehmen erheblichen Schaden zufügt. Wenn es veröffentlicht wird, werde ich „wieder“ mit einer Preisliste zurückkommen.