Это сообщение переведено AI.
Выбрать язык
Текст, резюмированный ИИ durumis
- Google выпустила новые экспериментальные модели Gemini, в том числе Gemini 1.5 Pro Exp, Gemini 1.5 Flash Exp и Gemini 1.5 Flash 8B Exp. В частности, Gemini 1.5 Pro Exp демонстрирует улучшенную производительность по сравнению с предыдущими версиями, а Gemini 1.5 Flash Exp является улучшенной версией самого высокого уровня среди моделей начального уровня.
- Gemini 1.5 Flash 8B Exp демонстрирует производительность, аналогичную Claude 3 Sonnet, и является облегченной версией модели Flash. В задачах перевода текста с сложной структурой JSON она несколько уступает модели Pro, но демонстрирует удовлетворительные результаты в задачах суммирования и написания текстов.
- Ожидается, что Google предоставит Gemini 1.5 Flash 8B Exp по низкой цене после официального выпуска, что окажет значительное влияние на другие линейки моделей. После выпуска мы планируем снова сравнить цены и поделиться результатами.
Google недавно выпустил новые модели Gemini.
На самом деле это не официальные версии, а экспериментальные (Experimental).
Эти модели следующие:
- Gemini 1.5 Pro Exp
- Gemini 1.5 Flash Exp
- Gemini 1.5 Flash 8B Exp
Прежде всего, 1.5 Pro Exp и 1.5 Flash Exp можно рассматривать как обновления существующих версий. При фактическом тестировании, в случае 1.5 Pro Exp, было замечено небольшое повышение производительности по сравнению с 1.5 Pro, (Также наблюдалось повышение производительности по результатам бенчмарка. Я не привел данные, но можно сказать, что это лучший из существующих на данный момент релизов.) 1.5 Flash Exp, естественно, не является лучшим, но в своем классе, среди самых доступных вариантов, он существенно улучшился.
По словам разработчиков, эти две версии будут внедрены в 1.5 Pro и 1.5 Flash в течение нескольких недель. (Поскольку раньше был релиз 001, то обновление, вероятно, будет до версии 002.)
Источник: Chatbot Arena
Если посмотреть на таблицу, то Gemini 1.5 Pro Exp находится на втором месте, а Gemini 1.5 Flash Exp на шестом.
Интересно, что Gemini 1.5 Flash Exp занимает более высокое место, чем Gemini 1.5 Pro, который находится на 10-м и 11-м местах.
С 1-го по 5-е место занимают флагманские модели каждой компании (GPT 4o, Gemini 1.5 Pro, Grok 2), а на 6-м и 7-м - их базовые варианты (GPT 4o mini, Gemini 1.5 Flash). Долгое время Claude 3.5 Sonnet был на вершине рейтинга... Но как быстро развивается эта отрасль...
Так или иначе, лично мне кажется, что эти две версии (1.5 Pro, 1.5 Flash) скоро станут официальными, а вот сейчас меня интересует версия 1.5 Flash 8b.
Давайте сначала посмотрим на бенчмарки.
Источник: Chatbot Arena
Судя по приведенным бенчмаркам, производительность 1.5 Flash 8b Exp примерно соответствует Claude 3 Sonnet, немного выше или ниже, но примерно на уровне 1.5 Flash, но немного хуже, но сопоставима с Llama 3 70 b.
Flash - это облегченная версия Pro, а Flash 8b - еще более легкая версия (возможно, это так?).
Я лично провел несколько тестов, которые мы часто используем в нашем сервисе.
- Перевод.
- Резюмирование.
- Написание текста.
Других тестов много, поэтому я провел несколько простых. Например, при переводе текста с использованием сложных JSON-структур Flash не выдал удовлетворительных результатов, в то время как Pro показал себя превосходно. Более того, версия Pro Exp выдает более аккуратные результаты.
Flash и даже Flash 8b показали себя отлично при резюмировании и написании текста. Если речь идет не о сложных задачах, а о простых, то, похоже, Flash 8b можно использовать.
Судя по производительности и количеству параметров, Google, вероятно, установит довольно низкую цену на Flash 8b при его официальном запуске.
По-видимому, цена будет настолько низкой, что нанесет серьезный удар по конкурентам. Как только он выйдет, я снова вернусь к этой теме с "новым" прайс-листом.
