Gemini 1.5 Flash, GPT-4o en andere LLM's: Prijsvergelijking

De afgelopen twee dagen hebben Google en OpenAI een enorme hoeveelheid nieuwe AI-gerelateerde informatie vrijgegeven.

Over het algemeen zijn er twee belangrijke aspecten die mensen die het willen gebruiken, zich afvragen.

Prestaties en prijs. (Natuurlijk zijn er meer functies, maar die worden wel door gespecialiseerde bloggers besproken...)

Open AI - GPT

Zoals altijd bij OpenAI, is de nieuwe GPT-4o goedkoper dan de bestaande GPT-4. De prestaties worden in veel andere blogs besproken, dus slaan we die over. Hier gaan we alleen in op de prijs.

OpenAI verlaagde de prijs van GPT-4 na de lancering van GPT-3.5 Turbo, en deed dat bij elke nieuwe versie. Natuurlijk zijn de prestaties ook verbeterd. Momenteel is 3.5 Turbo de beste keuze als je op zoek bent naar de laagste prijs. In alle andere gevallen is 4o een goede optie.

Anthopic - Claude 3

Anthropic heeft onlangs geen nieuwe producten aangekondigd, maar met de prijs-kwaliteitverhouding van Haiku en de hoge prestaties van Opus is het een LLM-bedrijf dat we niet kunnen negeren.

Haiku is, gebaseerd op de prijs per input-token, het goedkoopste van de drie en ideaal voor eenvoudige tekstverwerking.

Tot de lancering van Gemini Flash was Haiku zelfs beter dan Gemini 1.0 Pro, waardoor het een zeer nuttige LLM is.

Google - Gemini

Google gebruikt twee prijssystemen.

Eén is AI Studio, de ander is Vertex AI.

AI Studio is, net als bij andere bedrijven, gebaseerd op tokenprijzen, terwijl Vertex AI uniek is omdat het een prijs per teken hanteert.

Als we naar de bovenstaande tabel kijken, is Vertex AI goedkoper als 1 token minder dan 3 tekens (1-2 tekens) bevat, en AI Studio is goedkoper als het 3 of meer tekens bevat. Maar omdat er over het algemeen meer Engelstalige tekens zijn, is AI Studio goedkoper. Ook bij Koreaans is 1 token tegenwoordig vaak meerdere tekens...

Hoe dan ook, Gemini 1.5 Flash is op basis van input-tokens en prestaties veel beter dan 1.0 Pro. Voor veeleisende taken is 1.5 Pro de beste keuze.

Samenvatting

Op basis van de MMLU-prestaties is de volgorde GPT-4o > Opus > 1.5 Pro.

Voor complexe intellectuele taken is GPT-4o de beste optie. Als je een iets goedkopere optie wilt of als je meer dan 128K tokens nodig hebt, dan is Gemini 1.5 Pro een goede keuze. De daadwerkelijke ervaring verschilt echter enigszins, dus je kunt het beste degene kiezen die het beste bij je past.

Als je veel tekstwerk moet doen tegen lage kosten, dan heb je twee opties:

Als deverhouding tussen input en output laag is (bijvoorbeeld wanneer je een grote hoeveelheid documenten invoert en een korte uitvoer wilt), dan is Claude 3 Haiku de goedkoopste optie. Haiku heeft echter hoge uitvoer kosten, dus als de verhouding tussen input en output hoog is (bijvoorbeeld als je een specifieke tekst invoert en vraagt om deze te bewerken of te wijzigen), dan raden we Gemini 1.5 Flash aan. In dat geval is Flash het goedkoopst voor de output.

Samenvatting en conclusie

"Ik wil de meest complexe taken uitvoeren, ongeacht de prijs." -> GPT - 4o

"Maar de grootte van de input-tokens is meer dan 128K." (GPT - 4o kan alleen tot 128K) -> Opus

"Ik heb hoge prestaties nodig, maar wil een lagere prijs of meer dan 200K tokens." (Opus kan alleen tot 200K) -> Gemini 1.5 Pro

Ik heb de goedkoopste LLM nodig. -> Haiku

Maar de verhouding tussen input en output is hoger voor output, of er zijn meer dan 200K tokens. -> Gemini 1.5 Flash