Google a récemment publié de nouveaux modèles de Gemini.

En fait, il ne s'agit pas de versions officielles, mais de versions expérimentales (Experimental).

Ces modèles sont les suivants :

• Gemini 1.5 Pro Exp
• Gemini 1.5 Flash Exp
• Gemini 1.5 Flash 8B Exp

Pour commencer, les versions 1.5 Pro Exp et 1.5 Flash Exp peuvent être considérées comme des mises à jour des versions précédentes. En réalité, si vous les testez, vous constaterez que la version 1.5 Pro Exp est légèrement plus performante que la version 1.5 Pro (les performances des benchmarks ont également été améliorées. Je n'ai pas récupéré les données, mais on peut considérer qu'il s'agit du meilleur niveau parmi les versions publiées jusqu'à présent). La version 1.5 Flash Exp, quant à elle, n'est pas non plus la meilleure, mais elle s'est améliorée pour devenir la meilleure parmi les versions d'entrée de gamme.

On nous a dit que ces deux versions seraient intégrées aux versions 1.5 Pro et 1.5 Flash existantes dans les prochaines semaines (la version précédente était la 001, elle devrait donc être mise à jour vers la 002).

Si vous regardez le tableau, vous constaterez que la version Gemini 1.5 Pro Exp se classe en deuxième position, tandis que la version Gemini 1.5 Flash Exp se classe en sixième position.

Ce qui est intéressant, c'est que la version 1.5 Flash Exp est mieux classée que la version 1.5 Pro, qui se classe en 10e et 11e position.

Les 5 premières places sont occupées par les versions phares de chaque entreprise (GPT 4o, Gemini 1.5 Pro, Grok 2) et les 6e et 7e places par les versions d'entrée de gamme de chaque entreprise (GPT 4o mini, Gemini 1.5 Flash). Pendant un certain temps, Claude 3.5 Sonnet était en tête de liste, mais... la vitesse d'évolution de cette industrie est vraiment...

Quoi qu'il en soit, personnellement, je pense que ces deux versions (1.5 Pro et 1.5 Flash) deviendront des versions officielles à terme, et je suis actuellement curieux de connaître la version 1.5 Flash 8b.

Commençons par regarder le benchmark.

Si l'on regarde le benchmark ci-dessus, les performances de la version 1.5 Flash 8b Exp sont à peu près équivalentes à celles de la version Claude 3 Sonnet, et légèrement inférieures ou supérieures à la version 1.5 Flash. Cependant, elle offre des performances similaires à celles de Llama 3 70 b.

Flash est une version allégée de Pro, et Flash 8b est une version encore plus allégée (c'est probablement le cas, non ?).

J'ai effectué quelques tests personnels, notamment des tests de phrases couramment utilisés dans notre service.

• Traduire.
• Rédiger un résumé.
• Rédiger un texte.

J'ai effectué d'autres tests, mais ils sont disponibles ailleurs. J'ai testé quelques éléments simples. Lorsque j'ai traduit un texte au format JSON complexe, Flash n'a pas donné de résultats satisfaisants, mais la gamme Pro a clairement donné satisfaction. De plus, la version Pro Exp a donné des résultats plus propres.

Flash, et même Flash 8b, ont donné des résultats satisfaisants pour le résumé et la rédaction. Il semble que Flash 8b puisse être utilisé pour des tâches simples, à moins qu'il ne s'agisse d'une tâche complexe.

Au vu de ses performances et de ses paramètres, Google devrait fixer un prix très bas pour la version Flash 8b lors de son lancement officiel.

Je pense qu'il va fixer un prix suffisamment bas pour infliger de sérieux dommages à la gamme de produits des concurrents. Lorsque la version sera lancée, je reviendrai "encore" avec un nouveau tableau des prix.