- enterprise-h2ogpte/rag_benchmark/results/test_client_e2e.md at main · h2oai/enterprise-h2ogpte
- Client Code Examples, Use Cases and Benchmarks for Enterprise h2oGPTe RAG-Based GenAI Platform - h2oai/enterprise-h2ogpte
Anthropic's Claude 3 yang sedang populer sekarang dapat digunakan di GCP.
(Sebenarnya sudah bisa digunakan beberapa waktu yang lalu.)
Namun, belum semua fitur dapat digunakan. Saat ini hanya Sonnet dan Haiku yang tersedia, sedangkan Opus masih [Segera Hadir].
Pertama-tama, H2O.ai telah mengevaluasi menggunakan RAG dan menghasilkan metrik sebagai berikut.
Hasil Evaluasi Tiap LLM
Sumber:https://github.com/h2oai/enterprise-h2ogpte/blob/main/rag_benchmark/results/test_client_e2e.md
Secara pribadi, saya lebih suka Gemini, dan berikut perbandingannya.
Harga dan Akurasi RAG Model LLM yang Tersedia di GCP
Kolom paling kanan adalah hasil pemilihan 5 model LLM dari tabel di atas.
Harga yang tertera adalah untuk input dan output 1 juta token.
Jika hanya melihat dari sisi token, Claude 3 Haiku saat ini yang paling murah. (Sebenarnya Gemini Pro juga tidak terlalu mahal...)
Sebaiknya gunakan kombinasi model yang sesuai dengan kebutuhan.
Komentar0