In den letzten zwei Tagen haben Google und OpenAI eine Flut neuer Ankündigungen zu künstlicher Intelligenz veröffentlicht.

Im Allgemeinen gibt es zwei Dinge, die Menschen interessiert:

Leistung und Preis. (Natürlich gibt es noch viele weitere Funktionen, aber dafür gibt es Fachblogger, die Reviews schreiben...)

Open AI - GPT

Wie immer bei OpenAI ist das neue 4o günstiger als das bestehende GPT-4T. Leistung ist ein Thema, das in vielen anderen Blogs ausführlich behandelt wird, deshalb lassen wir das hier aus. Konzentrieren wir uns zunächst auf den Preis.

Grundsätzlich hat OpenAI nach der Einführung von GPT 4 immer die Preise gesenkt, wenn neue Produkte auf den Markt kamen, seit GPT 3.5 Turbo. Natürlich wurde die Leistung dabei immer verbessert. Derzeit ist es sinnvoll, sich für 3.5 Turbo zu entscheiden, wenn man einen günstigen Tarif benötigt. In allen anderen Fällen sollte man 4o verwenden.

Anthropic - Claude 3

Anthropic hat zwar in letzter Zeit keine neuen Produkte angekündigt, aber Haiku, das ein gutes Preis-Leistungs-Verhältnis bietet, und Opus, das Hochleistungsfähig ist, machen das Unternehmen zu einem wichtigen Akteur im Bereich der LLM.

Haiku, das im Vergleich der drei Unternehmen den günstigsten Preis pro Eingabe-Token hat, ist die günstigste Option für die einfache Verarbeitung von Texten.

Bis zum Erscheinen von Gemini Flash war Haiku sogar leistungsstärker als Gemini 1.0 Pro, was es zu einem sehr nützlichen LLM macht.

Google - Gemini

Google betreibt zwei Preissysteme.

Einerseits AI Studio, andererseits Vertex AI.

AI Studio basiert wie bei anderen Unternehmen auf einem Token-basierten Preismodell, während Vertex AI auf einem besonderen zeichenbasierten Preismodell basiert.

Betrachtet man die obige Tabelle, so ist die Verwendung von Vertex AI günstiger, wenn 1 Token weniger als 3 Zeichen (1-2 Zeichen) umfasst, während AI Studio bei 3 Zeichen oder mehr günstiger ist. Da Englisch jedoch normalerweise mehr Zeichen umfasst, ist AI Studio günstiger. Auch bei Koreanisch ist es heute oft so, dass ein Token mehrere Zeichen umfasst...

Auf jeden Fall ist Gemini 1.5 Flash sowohl in Bezug auf die Eingabe-Token als auch auf die Leistung deutlich besser als 1.0 Pro. Wenn man leistungsstarke Aufgaben benötigt, ist 1.5 Pro die bessere Wahl.

Zusammenfassung

Betrachtet man nur die Leistung, so scheint es, dass GPT-4o > Opus > 1.5 Pro in Bezug auf den MMLU-Benchmark liegt.

Wenn man anspruchsvolle kognitive Aufgaben benötigt, sollte man sich für GPT-4o entscheiden. Wenn man ein etwas günstigeres Modell verwenden möchte, ist Gemini 1.5 Pro eine gute Option. Da die tatsächliche Nutzung ein bisschen anders ist, sollte jeder das Modell verwenden, das am besten zu ihm passt.

Wenn man eine große Menge Text zu einem günstigen Preis verarbeiten muss, gibt es zwei Möglichkeiten:

Wenn das Verhältnis von Input zu Output niedrig ist (z. B. bei der Eingabe einer großen Menge an Dokumenten und der Ausgabe eines kurzen Ergebnisses), ist Claude 3 Haiku am günstigsten. Da Haiku jedoch hohe Ausgabegebühren hat, ist es bei einem Verhältnis von Input zu Output, bei dem das Outputhoch ist (z. B. bei der Eingabe eines bestimmten Textes und der Aufforderung, ihn zu bearbeiten oder zu ändern), wird Gemini 1.5 Flash empfohlen. In diesem Fall sind die Ausgabegebühren für Flash am günstigsten.

Zusammenfassung und Fazit

"Ich brauche unbedingt das leistungsstärkste LLM, egal wie teuer es ist." -> GPT - 4o

"Aber die Größe der Eingabe-Token beträgt mehr als 128K." (GPT - 4o ist auf 128K begrenzt) -> Opus

"Ich benötige eine hohe Leistung, aber der Preis sollte etwas günstiger sein, oder die Größe der Token übersteigt 200K." (Opus ist auf 200K begrenzt) -> Gemini 1.5 Pro

Ich brauche das günstigste LLM. -> Haiku

Aber das Verhältnis von Input/Output ist so, dass das Output etwas höher ist oder mehr als 200K Token umfasst. -> Gemini 1.5 Flash