- enterprise-h2ogpte/rag_benchmark/results/test_client_e2e.md at main · h2oai/enterprise-h2ogpte
- Client Code Examples, Use Cases and Benchmarks for Enterprise h2oGPTe RAG-Based GenAI Platform - h2oai/enterprise-h2ogpte
W ostatnim czasie popularny model językowy Claude 3 od Anthropic stał się dostępny w chmurze GCP.
(Właściwie dostępny jest już od jakiegoś czasu.)
Na razie nie wszystkie jego wersje są dostępne. Dostępne są jedynie Sonnet i Haiku, a Opus jest wciąż w fazie [Wkrótce] (Coming Soon).
H2O.ai przeprowadziło ocenę modelu Claude 3 wykorzystując technikę RAG (Retrieval Augmented Generation) i uzyskało następujące wyniki.
Wyniki oceny modeli LLM
Źródło: https://github.com/h2oai/enterprise-h2ogpte/blob/main/rag_benchmark/results/test_client_e2e.md
Poniższa tabela przedstawia porównanie Claude 3 z Gemini, moim ulubionym modelem.
Cena i dokładność RAG modeli LLM dostępnych w GCP
Tabela po prawej stronie to uproszczona wersja poprzedniej, przedstawiająca tylko 5 wybranych modeli LLM.
Cena dotyczy 1 miliona tokenów wejściowych i wyjściowych.
Biorąc pod uwagę samą cenę za tokeny, Claude 3 Haiku wydaje się być najtańszym rozwiązaniem. (Właściwie Gemini Pro również nie jest drogie...)
W zależności od potrzeb, można łączyć różne modele, aby uzyskać optymalne rezultaty.
Komentarze0