- enterprise-h2ogpte/rag_benchmark/results/test_client_e2e.md at main · h2oai/enterprise-h2ogpte
- Client Code Examples, Use Cases and Benchmarks for Enterprise h2oGPTe RAG-Based GenAI Platform - h2oai/enterprise-h2ogpte
Anthropic's Claude 3, das derzeit im Trend liegt, ist jetzt auch in GCP verfügbar.
(Eigentlich schon etwas länger.)
Noch ist nicht alles verfügbar, sondern nur Sonnet und Haiku. Opus ist noch [ demnächst verfügbar ].
Zunächst einmal sind hier die Kennzahlen, die H2O.ai mithilfe von RAG ermittelt hat.
Bewertungsergebnisse der LLMs
Quelle: https://github.com/h2oai/enterprise-h2ogpte/blob/main/rag_benchmark/results/test_client_e2e.md
Im persönlichen Vergleich mit Gemini, das ich bevorzuge, ergibt sich folgende Tabelle.
Preise und RAG-Genauigkeit der auf GCP verfügbaren LLM-Modelle
Ganz rechts ist die Tabelle aus der vorherigen Abbildung mit nur 5 ausgewählten LLM-Modellen.
Der Preis gilt jeweils für 1 Million Token für Input und Output.
Betrachtet man nur die Token, scheint Claude 3 Haiku derzeit am günstigsten zu sein. (Eigentlich war Gemini Pro auch nicht teuer...)
Je nach Bedarf lassen sich die einzelnen Modelle gut kombinieren.
Kommentare0