Prix de Gemini 1.5 Flash, GPT-4o et autres LLM

Google et OpenAI ont fait de nombreuses annonces concernant de nouvelles IA ces deux derniers jours.

En général, les utilisateurs se posent principalement deux questions.

Les performances et le prix. (Bien sûr, il existe de nombreuses autres fonctionnalités, mais les blogueurs spécialisés s'en chargeront...)

Open AI - GPT

Comme toujours chez OpenAI, le nouveau GPT-4o est moins cher que le GPT-4 précédent. Les performances sont largement commentées dans de nombreux autres blogs, nous ne les aborderons donc pas ici. Concentrons-nous sur le prix.

En principe, Open AI a baissé les prix à chaque nouvelle version depuis GPT 3.5 Turbo, initialement suivi de GPT 4. Bien sûr, les performances sont améliorées. Actuellement, si vous recherchez le meilleur rapport qualité-prix, GPT 3.5 Turbo est la meilleure option. Dans les autres cas, GPT-4o semble être le choix idéal.

Anthopic - Claude 3

Anthropic n'a pas publié de nouveaux produits récemment, mais Haiku, qui offre un bon rapport qualité-prix, et Opus, qui est très performant, font d'Anthropic un acteur incontournable du marché des LLM.

En termes de prix par jeton d'entrée, Haiku est le moins cher des trois. Il est donc idéal pour les tâches de traitement de texte simples.

Avant la sortie de Gemini Flash, Haiku était même plus performant que Gemini 1.0 Pro, ce qui en faisait un LLM très utile.

Google - Gemini

Google utilise deux systèmes de tarification.

L'un est AI Studio, l'autre est Vertex AI.

AI Studio, comme les autres entreprises, utilise un système de tarification basé sur les jetons, tandis que Vertex AI utilise un système unique basé sur le nombre de caractères.

Selon le tableau ci-dessus, si 1 jeton représente en moyenne moins de 3 caractères (1 à 2 caractères), Vertex AI est plus économique. Si le jeton représente plus de 3 caractères, AI Studio est plus avantageux. Cependant, pour les langues anglaises, le nombre de caractères est généralement élevé, donc AI Studio est plus abordable. En coréen également, un jeton représente souvent plusieurs caractères...

Quoi qu'il en soit, en termes de jetons d'entrée et de performances, Gemini 1.5 Flash est bien meilleur que 1.0 Pro. Pour les tâches complexes, 1.5 Pro est plus performant.

Synthèse

En termes de performances uniquement, selon le benchmark MMLU, l'ordre serait GPT-4o > Opus > 1.5 Pro.

Pour des tâches intellectuelles complexes, GPT-4o est le choix idéal. Si vous recherchez une solution plus économique, Gemini 1.5 Pro est également une bonne option. En pratique, les performances peuvent légèrement varier, il est donc important de choisir le modèle qui vous convient le mieux.

Si vous devez traiter de grandes quantités de texte à moindre coût, vous avez deux options :

Si lerapport entrée/sortie est faible (par exemple, si vous devez saisir de nombreux documents et obtenir une sortie courte), Claude 3 Haiku est le plus économique. En revanche, les coûts de sortie de Haiku sont élevés. Inversement, si lerapport entrée/sortie est élevé (par exemple, si vous devez saisir un texte spécifique et lui demander de le modifier ou de le transformer), Gemini 1.5 Flash est recommandé. Dans ce cas, Flash offre les coûts de sortie les plus bas.

Résumé et conclusion

"Je n'ai pas de contrainte de prix et veux absolument la meilleure performance pour des tâches complexes." -> GPT - 4o

"Mais la taille de mon entrée est supérieure à 128K." (GPT - 4o est limité à 128K) -> Opus

"J'ai besoin de hautes performances mais à un prix plus abordable, ou mon entrée dépasse 200K." (Opus est limité à 200K) -> Gemini 1.5 Pro

Je recherche le LLM le plus économique possible. -> Haiku

Mais le rapport entrée/sortie est légèrement plus élevé en sortie ou mon entrée dépasse 200K. -> Gemini 1.5 Flash