- enterprise-h2ogpte/rag_benchmark/results/test_client_e2e.md at main · h2oai/enterprise-h2ogpte
- Client Code Examples, Use Cases and Benchmarks for Enterprise h2oGPTe RAG-Based GenAI Platform - h2oai/enterprise-h2ogpte
Di recente, Claude 3 di Anthropic, molto popolare, è diventato disponibile su GCP.
(In realtà, la sua disponibilità risale a un po' di tempo fa.)
Non tutte le funzionalità sono ancora disponibili, al momento sono utilizzabili solo Sonnet e Haiku, mentre Opus è ancora in fase di sviluppo [Coming Soon].
Innanzitutto, H2O.ai ha valutato le prestazioni utilizzando RAG e ha ottenuto i seguenti risultati.
Risultati della valutazione dei modelli LLM
Fonte: https://github.com/h2oai/enterprise-h2ogpte/blob/main/rag_benchmark/results/test_client_e2e.md
Personalmente, preferisco Gemini e la tabella seguente mostra un confronto tra i due.
Prezzo e accuratezza RAG dei modelli LLM disponibili su GCP
La colonna più a destra mostra solo 5 modelli LLM estratti dalla tabella precedente.
Il prezzo si riferisce all'input e all'output per 1 milione di token.
Considerando solo i token, Claude 3 Haiku sembra essere il più conveniente al momento. (In realtà, Gemini Pro non aveva un prezzo eccessivamente elevato...)
A seconda delle esigenze, potrebbe essere utile utilizzare una combinazione di diversi modelli.
Commenti0