De afgelopen twee dagen zijn Google en OpenAI met een reeks nieuwe AI-gerelateerde aankondigingen gekomen.

Over het algemeen zijn er twee belangrijke aspecten die mensen interesseren:

Prestaties en prijs. (Natuurlijk zijn er meer functies, maar dat is voor professionele bloggers om te beoordelen...)

Open AI - GPT

Zoals OpenAI altijd heeft gedaan, is de nieuwe 4o goedkoper dan de bestaande GPT-4T. Prestaties zijn al besproken in talloze andere blogposts, dus laten we ons hier concentreren op de prijs.

OpenAI heeft sinds de introductie van GPT 4 de prijs van elke nieuwe versie verlaagd. Sinds de release van GPT 3.5 Turbo. Natuurlijk worden de prestaties geüpgraded. Momenteel is 3.5 Turbo de beste keuze als je op zoek bent naar een lage prijs. In andere gevallen zou 4o de beste keuze zijn.

Anthopic - Claude 3

Hoewel Anthropic recent geen nieuwe producten heeft uitgebracht, is het een LLM-bedrijf dat niet mag worden genegeerd vanwege de kosteneffectieve Haiku en de krachtige Opus.

Haiku is het goedkoopste van de drie, gebaseerd op de prijs per input token. Het is perfect voor het verwerken van eenvoudige teksten.

Tot de release van Gemini Flash was Haiku zelfs krachtiger dan Gemini 1.0 Pro, waardoor het een zeer bruikbare LLM is.

Google - Gemini

Google onderhoudt twee prijssystemen.

Eén is AI Studio, de andere is Vertex AI.

AI Studio is gebaseerd op een token-gebaseerde prijs, net als andere bedrijven, terwijl Vertex AI een unieke lettergebaseerde prijs heeft.

Als je naar de bovenstaande tabel kijkt, dan is Vertex AI goedkoper als 1 token gemiddeld minder dan 3 letters (1-2 letters) heeft, terwijl AI Studio goedkoper is als het meer dan 3 letters heeft. Maar gezien de Engelse taal, zal het aantal letters meestal hoger zijn, waardoor AI Studio goedkoper is. In het Koreaans is 1 token vaak ook meer dan één letter, dus...

Wat de input tokens of prestaties betreft, Gemini 1.5 Flash is aanzienlijk beter dan 1.0 Pro. Gemini 1.5 Pro is superieur voor taken die hoge prestaties vereisen.

Overzicht

Als we alleen naar de prestaties kijken op basis van MMLU, is de volgorde GPT-4o > Opus > 1.5 Pro.

Voor geavanceerde intellectuele taken is GPT-4o de beste keuze. Als je op zoek bent naar een iets goedkopere optie, dan is Gemini 1.5 Pro ook een goede keuze. De ervaring in de praktijk kan echter enigszins variëren, daarom is het belangrijk om de LLM te kiezen die het beste bij je behoeften past.

Als je een grote hoeveelheid tekst moet verwerken tegen een lage prijs, dan zijn er twee opties:

Wanneer de verhouding tussen input en output laag is (bijvoorbeeld wanneer je een grote hoeveelheid documenten invoert en een korte output wilt genereren), dan is Claude 3 Haiku de goedkoopste optie. Omdat Haiku een hoge output-prijs heeft, is Gemini 1.5 Flash aan te raden als deverhouding tussen input en output hoog is (bijvoorbeeld als je een specifieke tekst invoert en deze wilt laten bewerken of wijzigen). In dat geval heeft Flash de laagste output-prijs.

Samenvatting en Conclusie

"Ik wil de meest complexe taken uitvoeren, ongeacht de prijs." -> GPT - 4o

"Maar de grootte van de input tokens is meer dan 128K." (GPT-4o is beperkt tot 128K) -> Opus

"Ik heb hoge prestaties nodig, maar wil een goedkopere optie, of de token-grootte is meer dan 200K." (Opus is beperkt tot 200K) -> Gemini 1.5 Pro

Ik heb de goedkoopste LLM nodig. -> Haiku

Maar de input/output-verhouding is meer gebiased naar de output of de token-grootte is meer dan 200K. -> Gemini 1.5 Flash