- enterprise-h2ogpte/rag_benchmark/results/test_client_e2e.md at main · h2oai/enterprise-h2ogpte
- Client Code Examples, Use Cases and Benchmarks for Enterprise h2oGPTe RAG-Based GenAI Platform - h2oai/enterprise-h2ogpte
最近流行しているAnthropicのClaude 3がGCPで利用可能になりました。
( 実は、利用可能になったのは少し前のような気がしますが。)
まだすべてが利用可能になったわけではなく、SonnetとHaikuのみ使用可能で、Opusは現在[Coming Soon]です。
まず、H2O.aiがRAGを使用して評価した指標は以下の通りです。
LLM別の評価結果
個人的に好むGeminiとの比較表は以下の通りです。
GCPで利用可能なLLMモデルの価格とRAGの精度
右端の列は、上の表から5つのLLMモデルのみを抜粋したものです。
価格はそれぞれ100万トークンに対する入力と出力です。
トークン数だけで見ると、現時点ではClaude 3 Haikuが最も安価のようです。(実際、Gemini Proもそれほど高価ではありませんでしたが…)
必要に応じて、それぞれのモデルを組み合わせて使用するのが良いでしょう。
コメント0