La nuova lineup di Gemini di Google - Sperimentale

Google ha recentemente rilasciato nuovi modelli di Gemini.

In realtà, non si tratta di versioni ufficiali, ma di versioni sperimentali (Experimental).

Questi sono i modelli:

• Gemini 1.5 Pro Exp
• Gemini 1.5 Flash Exp
• Gemini 1.5 Flash 8B Exp

Innanzitutto, Gemini 1.5 Pro Exp e 1.5 Flash Exp possono essere considerati aggiornamenti delle versioni precedenti. In effetti, dai test effettuati, Gemini 1.5 Pro Exp mostra un leggero miglioramento delle prestazioni rispetto alla versione precedente 1.5 Pro (anche i benchmark sono migliorati. Non ho i dati a portata di mano, ma possiamo dire che è tra le migliori versioni rilasciate finora). Anche Gemini 1.5 Flash Exp, sebbene non sia la migliore, ha mostrato un notevole miglioramento tra le versioni entry-level.

Si prevede che queste due versioni verranno integrate nelle versioni precedenti 1.5 Pro e 1.5 Flash entro poche settimane. (Poiché la versione precedente era la 001, presumo che verrà aggiornata alla 002).

Dalla tabella, possiamo vedere che Gemini 1.5 Pro Exp si trova al 2° posto e Gemini 1.5 Flash Exp al 6°.

È interessante notare che Gemini 1.5 Flash Exp si trova in una posizione superiore rispetto a Gemini 1.5 Pro, che si trova al 10° e 11° posto.

Dal 1° al 5° posto troviamo le versioni flagship di ciascuna azienda (GPT 4o, Gemini 1.5 Pro, Grok 2), mentre al 6° e 7° posto troviamo le linee entry-level (GPT 4o mini, Gemini 1.5 Flash). Per un po' di tempo, Claude 3.5 Sonnet era in cima alla classifica... La velocità di sviluppo in questo settore è davvero incredibile...

Comunque, personalmente credo che queste due versioni (1.5 Pro e 1.5 Flash) diventeranno presto versioni ufficiali, e attualmente sono curioso di sapere di più sulla versione 1.5 Flash 8b.

Diamo prima un'occhiata ai benchmark.

Dai benchmark sopra riportati, possiamo vedere che le prestazioni di Gemini 1.5 Flash 8B Exp sono all'incirca simili a quelle di Claude 3 Sonnet, leggermente superiori o inferiori, ma comunque simili a quelle di Llama 3 70b.

Flash è una versione leggera di Pro, e Flash 8b è una versione ancora più leggera. (Probabilmente è così, giusto?)

Ho eseguito alcuni test diretti, usando frasi che utilizziamo spesso nel nostro servizio durumis.

• Traduzione.
• Riepilogo.
• Scrittura di testi.

Esistono molti altri test disponibili altrove, quindi ho eseguito solo alcuni test di base. Quando ho tradotto un testo con una struttura JSON complessa, Flash non ha prodotto risultati soddisfacenti, mentre la linea Pro ha dato risultati soddisfacenti. Inoltre, la versione Pro Exp ha prodotto risultati ancora più puliti.

Sia Flash che Flash 8b hanno prodotto risultati soddisfacenti per i riepiloghi e la scrittura di testi. Questo suggerisce che Flash 8b può essere utilizzato per attività semplici che non richiedono un'elaborazione complessa.

Considerando le prestazioni e i parametri, credo che Google fisserà un prezzo molto conveniente per Flash 8b al momento del rilascio ufficiale.

Probabilmente lo faranno a un prezzo così basso da causare un danno significativo alle lineup esistenti di altre aziende. Quando verrà rilasciato, tornerò con un nuovo "elenco prezzi".