- enterprise-h2ogpte/rag_benchmark/results/test_client_e2e.md at main · h2oai/enterprise-h2ogpte
- Client Code Examples, Use Cases and Benchmarks for Enterprise h2oGPTe RAG-Based GenAI Platform - h2oai/enterprise-h2ogpte
В последнее время популярная модель языка Claude 3 от Anthropic стала доступна в GCP.
(На самом деле, доступность появилась уже некоторое время назад.)
Пока доступны не все модели, а только Sonnet и Haiku, Opus находится в стадии [Скоро] (Coming Soon).
H2O.ai провели оценку с использованием RAG и получили следующие результаты.
Результаты оценки различных LLM
Источник: https://github.com/h2oai/enterprise-h2ogpte/blob/main/rag_benchmark/results/test_client_e2e.md
Лично я предпочитаю Gemini, и вот сравнительная таблица с ним.
Цена и точность RAG для моделей LLM, доступных в GCP
В правой части таблицы представлены только 5 моделей ИИ из предыдущей таблицы.
Цена указана за 1 миллион токенов на вход и выход.
Если смотреть только на токены, то Claude 3 Haiku сейчас самый дешевый. (На самом деле, Gemini Pro тоже не был дорогим...)
В зависимости от потребностей, можно комбинировать различные модели.
Комментарии0