Gemini 1.5 Flash, GPT-4o und andere LLMs: Ein Preisvergleich

In den letzten zwei Tagen haben Google und OpenAI eine Flut von Ankündigungen zu neuen KI-bezogenen Themen veröffentlicht.

Im Allgemeinen gibt es für die Nutzer zwei Hauptpunkte, die sie interessieren.

Leistung und Preis. (Natürlich gibt es noch viele weitere Funktionen, aber die werden von professionellen Bloggern besprochen...)

Open AI - GPT

Wie immer bei OpenAI ist das neue GPT-4o im Vergleich zum bisherigen GPT-4 günstiger geworden. Die Leistung wird in vielen anderen Blogs ausführlich besprochen, daher überspringe ich das hier und konzentriere mich zunächst auf den Preis.

Grundsätzlich hat OpenAI nach GPT-3.5 Turbo zunächst GPT-4 veröffentlicht und bei jeder neuen Version den Preis gesenkt. Natürlich wurde gleichzeitig die Leistung verbessert. Derzeit ist es logisch, bei Bedarf die günstigere Option 3.5 Turbo zu wählen. In allen anderen Fällen sollte man 4o verwenden.

Anthropic - Claude 3

Anthropic hat zwar kürzlich keine neuen Produkte angekündigt, aber aufgrund des Preis-Leistungs-Verhältnisses von Haiku und der Hochleistung von Opus ist es ein LLM-Unternehmen, das man nicht außer Acht lassen kann.

Gemessen am Preis pro Input-Token ist Haiku das günstigste der drei Unternehmen und eignet sich am besten für die einfache Verarbeitung von Texten.

Bis zur Veröffentlichung von Gemini Flash war Haiku sogar leistungsstärker als Gemini 1.0 Pro und somit ein sehr nützliches LLM.

Google - Gemini

Google verwendet zwei verschiedene Preissysteme.

Eines ist AI Studio, das andere Vertex AI.

AI Studio basiert wie bei anderen Unternehmen auf Token-basierten Preisen, während Vertex AI ungewöhnlicherweise auf Zeichen basierende Preise verwendet.

Betrachtet man die obige Tabelle, so ist Vertex AI günstiger, wenn 1 Token durchschnittlich weniger als 3 Zeichen (1-2 Zeichen) umfasst, und AI Studio ist günstiger, wenn 1 Token 3 oder mehr Zeichen umfasst. Bei englischen Texten ist die Zeichenanzahl in der Regel höher, daher ist AI Studio günstiger. Auch im Koreanischen umfassen Token heutzutage oft mehrere Zeichen...

Jedenfalls ist Gemini 1.5 Flash sowohl in Bezug auf die Eingabe-Token als auch die Leistung deutlich besser als 1.0 Pro. Für anspruchsvolle Aufgaben ist 1.5 Pro überlegen.

Zusammenfassung

Rein von der Leistung her (basierend auf MMLU) scheint die Reihenfolge GPT-4o > Opus > 1.5 Pro zu sein.

Für hochkomplexe intellektuelle Aufgaben ist GPT-4o die richtige Wahl. Wenn man etwas günstigeres verwenden möchte, kann man auch Gemini 1.5 Pro nutzen. Die tatsächliche Nutzung kann jedoch etwas unterschiedlich wahrgenommen werden, daher sollte jeder das Modell verwenden, das am besten zu seinen Bedürfnissen passt.

Wenn man viele Textarbeiten zu geringen Kosten erledigen muss, gibt es zwei Möglichkeiten:

Wenn das Verhältnis von Input zu Output gering ist (z. B. wenn man viele Dokumente eingibt und nur kurze Ergebnisse ausgeben möchte), ist Claude 3 Haiku am günstigsten. Allerdings sind die Ausgabekosten bei Haiku hoch, daher ist im umgekehrten Fall, wenn das Verhältnis von Output hoch ist (z. B. wenn man einen bestimmten Text eingibt und diesen bearbeiten oder ändern lässt), Gemini 1.5 Flash zu empfehlen. In diesem Fall sind die Ausgabekosten bei Flash am niedrigsten.

Zusammenfassung und Fazit

"Ich brauche unabhängig vom Preis unbedingt das beste LLM für komplexe Aufgaben." -> GPT - 4o

"Aber die Größe der Eingabe-Token beträgt mehr als 128K." (GPT - 4o kann nur bis 128K verarbeiten) -> Opus

"Ich brauche hohe Leistung, aber einen günstigeren Preis oder die Token-Größe übersteigt 200K." (Opus kann nur bis 200K verarbeiten) -> Gemini 1.5 Pro

Ich brauche das günstigste LLM. -> Haiku

Aber das Input/Output-Verhältnis ist beim Output etwas höher oder es werden mehr als 200K Token verwendet. -> Gemini 1.5 Flash