- enterprise-h2ogpte/rag_benchmark/results/test_client_e2e.md at main · h2oai/enterprise-h2ogpte
- Client Code Examples, Use Cases and Benchmarks for Enterprise h2oGPTe RAG-Based GenAI Platform - h2oai/enterprise-h2ogpte
Het populaire Anthropic's Claude 3 is nu beschikbaar op GCP.
(Eigenlijk al een tijdje beschikbaar.)
Het is nog niet volledig beschikbaar, alleen Sonnet en Haiku zijn toegankelijk, terwijl Opus nog [ Binnenkort beschikbaar ] is.
H2O.ai heeft eerst RAG gebruikt om de volgende indicatoren te evalueren.
Resultaten van de evaluatie per LLM
Bron: https://github.com/h2oai/enterprise-h2ogpte/blob/main/rag_benchmark/results/test_client_e2e.md
Persoonlijk vergelijk ik het graag met Gemini, en hier is een tabel met de vergelijking.
Prijzen en RAG nauwkeurigheid van LLM modellen beschikbaar op GCP
De rechterkolom is een selectie van 5 LLM-modellen uit de bovenstaande tabel.
De prijs is gebaseerd op 1 miljoen tokens voor input en output.
Alleen naar tokens kijkend, lijkt Claude 3 Haiku de goedkoopste optie. (Gemini Pro was eigenlijk ook niet zo duur...)
Het is raadzaam om de verschillende modellen te combineren, afhankelijk van de behoefte.
Reacties0