- enterprise-h2ogpte/rag_benchmark/results/test_client_e2e.md at main · h2oai/enterprise-h2ogpte
- Client Code Examples, Use Cases and Benchmarks for Enterprise h2oGPTe RAG-Based GenAI Platform - h2oai/enterprise-h2ogpte
요즘 유행하는 Anthropic 의 Claude 3 가 GCP에서 쓸수 있게 되었다.
( 사실 쓸 수 있게 된건 좀 된듯. )
아직 전부 다 쓸수 있게 된건 아니고, Sonnet 과 Haiku 만 사용 가능하고, Opus 는 아직 [ Coming Soon ].
우선 H2O.ai 에서 RAG 를 이용해서 평가한 지표는 다음과 같다.
LLM 별 평가 결과
개인적으로 선호하는 Gemini 와 비교한 표는 다음과 같다.
GCP 에서 사용 가능한 LLM 모델들의 가격과 RAG 정확도
맨 오른쪽은 위의 표에서 5개의 LLM 모델만 추려낸것이다.
가격은 각각 100만 토큰에 대한 입력과 출력.
토큰으로만 놓고 보면 현재 Claude 3 Haiku 가 제일 저렴한거 같다. ( 사실 Gemini Pro 도 비싼 가격이 아니었는데.. )
필요에 따라 각각의 모델들을 혼합해서 사용하면 좋을듯 하다.
댓글0