- enterprise-h2ogpte/rag_benchmark/results/test_client_e2e.md at main · h2oai/enterprise-h2ogpte
- Client Code Examples, Use Cases and Benchmarks for Enterprise h2oGPTe RAG-Based GenAI Platform - h2oai/enterprise-h2ogpte
ปัจจุบัน Claude 3 จาก Anthropic ซึ่งกำลังเป็นที่นิยม ได้มีให้ใช้งานบน GCP แล้ว
(ที่จริงแล้วน่าจะเปิดให้ใช้งานได้สักพักแล้ว)
อย่างไรก็ตาม ยังไม่เปิดให้ใช้งานได้ทั้งหมด ในตอนนี้สามารถใช้งานได้เฉพาะ Sonnet และ Haiku เท่านั้น ส่วน Opus ยังคงเป็น [ Coming Soon ]
ก่อนอื่น H2O.ai ได้ใช้ RAG ในการประเมินผลลัพธ์ ดังตารางด้านล่าง
ผลการประเมินตามแต่ละ LLM
ที่มา : https://github.com/h2oai/enterprise-h2ogpte/blob/main/rag_benchmark/results/test_client_e2e.md
ส่วนตัวแล้ว ผมชอบ Gemini และได้ทำการเปรียบเทียบกับโมเดลอื่นๆ ดังตารางด้านล่าง
ราคาและความแม่นยำของ RAG ของโมเดล LLM ที่ใช้งานได้บน GCP
ส่วนขวาสุดของตาราง เป็นการคัดเลือกโมเดล LLM เพียง 5 โมเดลจากตารางข้างต้น
ราคาที่แสดงคือ ราคาสำหรับการป้อนข้อมูลและผลลัพธ์ 1 ล้านโทเคน
เมื่อพิจารณาจากจำนวนโทเคนแล้ว Claude 3 Haiku ดูเหมือนจะมีราคาถูกที่สุดในตอนนี้ (ที่จริงแล้ว Gemini Pro ก็ไม่ได้มีราคาแพงมาก)
เราสามารถเลือกใช้โมเดลต่างๆ ผสมผสานกันตามความเหมาะสมได้
ความคิดเห็น0