Google's nieuwe Gemini-lijn - Experimenteel

Google heeft onlangs nieuwe modellen van Gemini uitgebracht.

Eigenlijk zijn het geen officiële versies, maar experimentele (Experimental) versies.

De modellen zijn als volgt:

• Gemini 1.5 Pro Exp
• Gemini 1.5 Flash Exp
• Gemini 1.5 Flash 8B Exp

Allereerst kunnen we 1.5 Pro Exp en 1.5 Flash Exp beschouwen als updates van de bestaande versies. Bij het testen blijkt dat 1.5 Pro Exp in vergelijking met de oorspronkelijke 1.5 Pro een iets betere prestatie levert, (ook de benchmarkprestaties zijn verbeterd. Ik heb de gegevens niet opgehaald, maar we kunnen ervan uitgaan dat het de beste versie is van de tot nu toe uitgebrachte versies). Ook 1.5 Flash Exp is natuurlijk niet de beste, maar is aanzienlijk verbeterd en behoort tot de beste in de instapversie.

Naar verluidt worden deze twee versies binnen enkele weken in de bestaande versies 1.5 Pro en 1.5 Flash geïntegreerd. (De bestaande versie was 001, dus het lijkt erop dat deze naar versie 002 zal worden bijgewerkt).

Als we naar de tabel kijken, zien we dat de Gemini 1.5 Pro Exp-versie op de tweede plaats staat en de Gemini 1.5 Flash Exp op de zesde plaats.

Interessant is dat de 1.5 Flash Exp hoger scoort dan de Gemini 1.5 Pro op de 10e en 11e plaats.

De eerste 5 plaatsen worden ingenomen door de vlaggenschipversies van de verschillende bedrijven (GPT 4o, Gemini 1.5 Pro, Grok 2), en de 6e en 7e plaats door de instaplijnen van de verschillende bedrijven (GPT 4o mini, Gemini 1.5 Flash). Claude 3.5 Sonnet stond lange tijd bovenaan... de ontwikkelingsnelheid in deze sector is echt...

Hoe dan ook, persoonlijk denk ik dat deze twee versies (1.5 Pro, 1.5 Flash) binnenkort de officiële versies zullen worden, en momenteel ben ik benieuwd naar de 1.5 Flash 8b-versie.

Laten we eerst eens naar de benchmark kijken.

Als we naar de bovenstaande benchmark kijken, zien we dat de prestaties van 1.5 Flash 8b Exp ongeveer gelijk zijn aan die van de bestaande Claude 3 Sonnet, en dat deze zich ongeveer op hetzelfde niveau bevindt als de bestaande 1.5 Flash, maar iets lager scoort, maar vergelijkbare prestaties levert als Llama 3 70b etc.

Flash is een light-versie van Pro, maar Flash 8b is een nog veel lichtere versie. (Waarschijnlijk wel?)

Ik heb er een paar zelf getest, met name de zinnetesten die we veel in onze service gebruiken.

• Vertalen.
• Samenvatten.
• Teksten schrijven.

Er zijn veel andere tests op andere plaatsen, dus ik heb er een paar simpel getest. Toen ik een tekst vertaalde met een complexe JSON-structuur, leverde Flash geen bevredigend resultaat op, maar Pro leverde wel een bevredigend resultaat op. Bovendien was het resultaat dat werd gegenereerd door de Pro Exp-versie nog iets schoner.

Bij het samenvatten en schrijven van teksten leverden zowel Flash als Flash 8b bevredigende resultaten op. Zolang het geen complexe taken zijn, lijkt het erop dat Flash 8b kan worden gebruikt voor eenvoudige taken.

Gezien de prestaties en parameters verwacht ik dat Google Flash 8b bij de officiële lancering tegen een zeer lage prijs zal aanbieden.

Ik vermoed dat ze het tegen een prijs zullen aanbieden die een flinke klap uitdeelt aan de bestaande productlijnen van andere bedrijven. Als het uitkomt, kom ik "weer" terug met een nieuwe prijslijst.