Google új Gemini sorozata - Kísérleti

A Google nemrégiben új Gemini modelleket adott ki.

Valójában nem a hivatalos verzió, hanem egy kísérleti (Experimental) verzió.

Ezek a modellek a következők:

• Gemini 1.5 Pro Exp
• Gemini 1.5 Flash Exp
• Gemini 1.5 Flash 8B Exp

Az 1.5 Pro Exp és az 1.5 Flash Exp esetében a meglévő verzió frissítésének tekinthető. Ha valóban kipróbáljuk, az 1.5 Pro Exp esetében a meglévő 1.5 Pro-hoz képest kissé jobb teljesítményt nyújt, (a benchmark teljesítmény is javult. Nem hoztam be adatokat, de a korábban kiadott verziók közül a legjobbnak tekinthető.) az 1.5 Flash Exp esetében pedig természetesen nem a legjobb, de a belépő szintű verziók között a legkiválóbb szintre javult.

A két verzió esetében állítólag néhány héten belül a meglévő 1.5 Pro és 1.5 Flash verziókba integrálják. (Mivel korábban 001-es verzió volt, úgy tűnik, 002-es verzióra frissül.)

Ha megnézzük a táblázatot, a Gemini 1.5 Pro Exp verzió a 2. helyen, a 6. helyen pedig a Gemini 1.5 Flash Exp található.

Érdekes, hogy a 10. és 11. helyen lévő Gemini 1.5 Pro-nál is magasabb helyen van az 1.5 Flash Exp.

Az 1-5. helyen a különböző cégek zászlóshajó verziói vannak (GPT 4o, Gemini 1.5 Pro, Grok 2), a 6. és 7. helyen pedig a cégek belépő szintű vonala (GPT 4o mini, Gemini 1.5 Flash). Egy ideig a Claude 3.5 Sonnet volt a legjobb... De ebben az iparágban a fejlődés sebessége tényleg...

Szóval, szerintem a két verzió (1.5 Pro, 1.5 Flash) idővel hivatalos verzióvá válik, és jelenleg az 1.5 Flash 8b verzió az, ami felkelti a kíváncsiságomat.

Először nézzük meg a benchmarkot.

A fenti benchmark alapján az 1.5 Flash 8b Exp teljesítménye nagyjából megegyezik a meglévő Claude 3 Sonnettel, és a meglévő 1.5 Flash-hez képest kissé gyengébb, de a Llama 3 70b-vel hasonló teljesítményt nyújt.

A Flash a Pro könnyített változata, de a Flash 8b ennél is sokkal könnyített verzió, mint látható. (Valószínűleg így van.)

Először néhány tesztet végeztem el, amelyeket a szolgáltatásunkban gyakran használunk: mondattesztek.

• Fordítás.
• Összefoglalás.
• Szövegírás.

Más tesztek is vannak más helyeken is, így csak néhányat kipróbáltam, és amikor egy összetett JSON szerkezetű szöveget fordítottam, a Flash nem adott kielégítő eredményt, de a Pro termékcsalád egyértelműen igen. Ráadásul a Pro Exp verzióban valamivel tisztább eredményt kaptam.

Az összegzés és a szövegírás tekintetében a Flash, sőt a Flash 8b is kielégítő eredményt mutatott. Ha nem túl bonyolult feladatról van szó, akkor a Flash 8b használható, ami láthatóvá válik ebben a pontban.

A teljesítmény és a paraméterek alapján úgy tűnik, hogy a Google a hivatalos kiadásban nagyon alacsony áron fogja beállítani a Flash 8b árát.

Valószínűleg olyan szinten fogják beállítani, hogy komoly károkat okozzon a versenytársak termékcsaládjainak, de a kiadás után "újra" visszatérek a lista áraival.