- enterprise-h2ogpte/rag_benchmark/results/test_client_e2e.md at main · h2oai/enterprise-h2ogpte
- Client Code Examples, Use Cases and Benchmarks for Enterprise h2oGPTe RAG-Based GenAI Platform - h2oai/enterprise-h2ogpte
O Claude 3 da Anthropic, que está em alta atualmente, agora está disponível no GCP.
(Na verdade, já está disponível há algum tempo.)
Ainda não está totalmente disponível, apenas o Sonnet e o Haiku estão acessíveis, enquanto o Opus ainda está [Em breve].
Primeiramente, a H2O.ai avaliou os indicadores usando RAG, conforme mostrado abaixo.
Resultados da avaliação por LLM
Fonte: https://github.com/h2oai/enterprise-h2ogpte/blob/main/rag_benchmark/results/test_client_e2e.md
Pessoalmente, a tabela de comparação com o Gemini, que eu prefiro, é a seguinte.
Preço e precisão RAG dos modelos LLM disponíveis no GCP
O lado direito da tabela é uma seleção dos 5 modelos de LLM da tabela acima.
O preço é para entrada e saída de 1 milhão de tokens cada.
Considerando apenas os tokens, o Claude 3 Haiku parece ser o mais barato no momento. (Na verdade, o Gemini Pro também não tinha um preço tão alto...)
Seria interessante usar uma combinação de modelos de acordo com as necessidades.
Comentários0