- enterprise-h2ogpte/rag_benchmark/results/test_client_e2e.md at main · h2oai/enterprise-h2ogpte
- Client Code Examples, Use Cases and Benchmarks for Enterprise h2oGPTe RAG-Based GenAI Platform - h2oai/enterprise-h2ogpte
इन दिनों लोकप्रिय Anthropic का Claude 3 GCP पर उपलब्ध हो गया है।
(वास्तव में, यह कुछ समय पहले से ही उपलब्ध है।)
अभी तक यह पूरी तरह से उपलब्ध नहीं हुआ है, केवल Sonnet और Haiku का उपयोग किया जा सकता है, और Opus अभी भी [ जल्द ही आ रहा है ]।
सबसे पहले, H2O.ai ने RAG का उपयोग करके निम्नलिखित मापदंडों का मूल्यांकन किया।
LLM के अनुसार मूल्यांकन परिणाम
स्रोत:https://github.com/h2oai/enterprise-h2ogpte/blob/main/rag_benchmark/results/test_client_e2e.md
व्यक्तिगत रूप से, मैं Gemini को पसंद करता हूँ, और इसकी तुलना में तालिका इस प्रकार है।
GCP पर उपलब्ध LLM मॉडल की कीमत और RAG सटीकता
सबसे दाहिनी ओर की तालिका ऊपर दी गई तालिका से केवल 5 LLM मॉडल का चयन करके बनाई गई है।
कीमत 1 मिलियन टोकन के इनपुट और आउटपुट के लिए है।
केवल टोकन के आधार पर, ऐसा लगता है कि वर्तमान में Claude 3 Haiku सबसे सस्ता है। (वास्तव में, Gemini Pro की कीमत भी बहुत अधिक नहीं थी।)
आवश्यकतानुसार, विभिन्न मॉडलों को मिलाकर उपयोग करना बेहतर होगा।
टिप्पणियाँ0