La nouvelle gamme Gemini de Google - Expérimental

Google a récemment lancé de nouveaux modèles de Gemini.

En fait, il ne s'agit pas de versions officielles, mais de versions expérimentales (Experimental).

Ces modèles sont les suivants :

• Gemini 1.5 Pro Exp
• Gemini 1.5 Flash Exp
• Gemini 1.5 Flash 8B Exp

Tout d'abord, les versions 1.5 Pro Exp et 1.5 Flash Exp peuvent être considérées comme des mises à jour des versions précédentes. En effet, si l'on teste, la version 1.5 Pro Exp a des performances légèrement améliorées par rapport à la version 1.5 Pro existante (les performances de référence ont également été améliorées. Je n'ai pas récupéré les données, mais on peut considérer qu'elle est au meilleur niveau parmi les versions existantes). La version 1.5 Flash Exp, quant à elle, n'est bien sûr pas la meilleure, mais elle s'est considérablement améliorée parmi les versions d'entrée de gamme.

Ces deux versions seraient intégrées aux versions précédentes 1.5 Pro et 1.5 Flash dans les prochaines semaines (la version précédente étant la version 001, la mise à jour sera probablement la version 002).

Si l'on consulte le tableau, on constate que la version Gemini 1.5 Pro Exp se classe au 2e rang et que la version Gemini 1.5 Flash Exp se classe au 6e rang.

Ce qui est intéressant, c'est que la version 1.5 Flash Exp est mieux classée que la version 1.5 Pro qui se classe aux 10e et 11e rangs.

Les 5 premières places sont occupées par les versions phares de chaque entreprise (GPT 4o, Gemini 1.5 Pro, Grok 2), tandis que les 6e et 7e places sont occupées par les lignes d'entrée de gamme de chaque entreprise (GPT 4o mini, Gemini 1.5 Flash). Pendant un certain temps, Claude 3.5 Sonnet était en tête du classement... La vitesse de développement de ce secteur est vraiment...

Quoi qu'il en soit, personnellement, je pense que ces deux versions (1.5 Pro et 1.5 Flash) deviendront des versions officielles dans un avenir proche. Actuellement, je suis curieux de connaître la version 1.5 Flash 8b.

Examinons d'abord les résultats des tests de référence.

Si l'on observe les résultats des tests de référence ci-dessus, on constate que les performances de la version 1.5 Flash 8b Exp sont à peu près similaires à celles de la version Claude 3 Sonnet existante, et qu'elle est légèrement inférieure ou supérieure à la version 1.5 Flash existante, mais qu'elle affiche des performances similaires à celles de Llama 3 70 b, etc.

Flash est une version allégée de Pro, et Flash 8b est une version encore plus allégée (c'est probablement le cas ?).

J'ai d'abord effectué quelques tests, notamment des tests de phrases fréquemment utilisés dans nos services.

• Traduire.
• Résumer.
• Rédiger un texte.

Comme d'autres tests sont disponibles ailleurs, j'ai effectué quelques tests simples. Lors de la traduction d'un texte au format JSON complexe, Flash n'a pas produit de résultats satisfaisants, mais la gamme Pro a donné des résultats satisfaisants. De plus, la version Pro Exp a produit des résultats plus propres.

Pour la synthèse et la rédaction de textes, Flash et Flash 8b ont donné des résultats satisfaisants. On constate que Flash 8b peut être utilisé pour des tâches simples, à condition qu'il ne s'agisse pas de tâches complexes.

Compte tenu des performances et des paramètres, Google devrait fixer un prix très bas pour Flash 8b lors de son lancement officiel.

Il est probable qu'il soit fixé à un prix susceptible de causer de sérieux dommages aux gammes existantes d'autres sociétés. Au moment de sa sortie, je reviendrai "encore" avec une nouvelle grille tarifaire.