Gemini 1.5 Flash, GPT-4o и другие LLM: сравнение цен

За последние два дня Google и OpenAI анонсировали огромное количество новых разработок в области ИИ.

В целом, пользователей интересуют два основных момента.

Производительность и цена. (Конечно, есть и другие функции, но их обзор оставлю профессиональным блогерам...)

Open AI - GPT

Как обычно, OpenAI снизила цену на новую модель GPT-4o по сравнению с предыдущей версией GPT-4T. О производительности можно найти множество обзоров в других блогах, поэтому здесь я остановлюсь только на цене.

В целом, Open AI после GPT 3.5 Turbo, выпуска GPT 4 и последующих обновлений, каждый раз снижала цену. При этом, разумеется, улучшая производительность. На данный момент, если вам нужна более бюджетная модель, то лучше выбрать 3.5 Turbo. Во всех остальных случаях, стоит использовать 4o.

Anthropic - Claude 3

Несмотря на отсутствие новых релизов в последнее время, Anthropic нельзя игнорировать благодаря своим моделям Haiku (для оптимального соотношения цены и качества) и Opus (высокопроизводительной модели).

По цене за входной токен, Haiku является самой дешевой моделью из трех. Она отлично подходит для обработки простых текстов.

Более того, до выхода Gemini Flash, Haiku превосходила по производительности Gemini 1.0 Pro, что делало её очень полезной моделью.

Google - Gemini

Google поддерживает две системы ценообразования.

Одна - AI Studio, другая - Vertex AI.

AI Studio, как и у других компаний, использует ценообразование на основе токенов, а Vertex AI – необычно – на основе количества символов.

Исходя из приведенной выше таблицы, если 1 токен содержит менее 3 символов (1-2 символа), то использование Vertex AI будет дешевле, а если 3 символа и более – то AI Studio. Однако, обычно английский текст содержит большее количество символов, поэтому AI Studio будет дешевле. В корейском языке, в последнее время, 1 токен также часто содержит несколько символов, поэтому...

В любом случае, если рассматривать только входные токены и производительность, Gemini 1.5 Flash значительно превосходит 1.0 Pro. Для ресурсоемких задач 1.5 Pro более предпочтительна.

Итого

Если рассматривать только производительность (по метрике MMLU), то порядок следующий: GPT-4o > Opus > 1.5 Pro.

Для сложных интеллектуальных задач подойдет GPT-4o. Если вам нужна модель с более низкой ценой, то Gemini 1.5 Pro также хороший вариант. На практике, ощущения от использования могут немного отличаться, поэтому выбирайте ту модель, которая вам больше подходит.

Если вам нужно обработать большой объем текста с минимальными затратами, то у вас есть два варианта:

Если соотношение ввода/вывода низкое (например, нужно ввести большой объем документов и получить короткий результат), то Claude 3 Haiku будет самым дешевым вариантом. Однако, у Haiku высокая стоимость вывода, поэтому, наоборот, если соотношение ввода/вывода высокое (например, нужно ввести определенный текст и дать указания по его редактированию или изменению), то я рекомендую Gemini 1.5 Flash. В этом случае, Flash – самая дешевая модель по стоимости вывода.

Резюме и вывод

"Мне нужна самая мощная модель, цена не имеет значения." -> GPT - 4o

"Но размер входных данных превышает 128K." (GPT - 4o поддерживает только до 128K) -> Opus

"Мне нужна высокопроизводительная модель, но по более низкой цене, или размер входных данных превышает 200K." (Opus поддерживает только до 200K) -> Gemini 1.5 Pro

Мне нужна самая дешевая модель ИИ. -> Haiku

Но соотношение ввода/вывода больше смещено в сторону вывода, или размер данных превышает 200K. -> Gemini 1.5 Flash