- enterprise-h2ogpte/rag_benchmark/results/test_client_e2e.md at main · h2oai/enterprise-h2ogpte
- Client Code Examples, Use Cases and Benchmarks for Enterprise h2oGPTe RAG-Based GenAI Platform - h2oai/enterprise-h2ogpte
Gần đây, Claude 3 của Anthropic đang rất được ưa chuộng và giờ đây đã có thể sử dụng trên GCP.
(Thực ra, việc có thể sử dụng nó đã diễn ra được một thời gian rồi.)
Hiện tại, chưa phải tất cả các phiên bản đều có sẵn, chỉ có Sonnet và Haiku là có thể sử dụng, còn Opus thì vẫn đang trong giai đoạn [Sắp ra mắt].
Trước hết, H2O.ai đã sử dụng RAG để đánh giá và thu được các chỉ số sau.
Kết quả đánh giá từng LLM
Nguồn: https://github.com/h2oai/enterprise-h2ogpte/blob/main/rag_benchmark/results/test_client_e2e.md
Cá nhân tôi thích dùng Gemini và bảng so sánh với các mô hình khác như sau.
Giá cả và độ chính xác RAG của các mô hình LLM có sẵn trên GCP
Bên phải cùng là bảng tổng hợp 5 mô hình LLM từ bảng trên.
Giá cả được tính cho 1 triệu token đầu vào và đầu ra.
Chỉ xét về số lượng token thì Claude 3 Haiku hiện tại là rẻ nhất. (Thực ra Gemini Pro cũng không phải là quá đắt…)
Tùy vào nhu cầu, bạn có thể kết hợp sử dụng các mô hình này với nhau.
Bình luận0