В последние два дня Google и OpenAI представили огромное количество новых материалов, связанных с искусственным интеллектом.

Обычно людей интересует два основных момента:

Производительность и цена. (Конечно, есть много других функций, но их уже обозревают профессиональные блогеры...)

Open AI - GPT

Как обычно, OpenAI снизил цену на новый 4o по сравнению с предыдущим GPT-4T. Производительность - это то, что можно найти в большом количестве обзоров, так что мы просто рассмотрим цену.

По сути, Open AI снижал цену каждый раз, когда выпускал новую модель после GPT 3.5 Turbo и первого выхода GPT 4. Конечно, производительность была повышена. На данный момент, если вы хотите выбрать наиболее дешевый вариант, то вам следует воспользоваться 3.5 Turbo. В остальных случаях лучше использовать 4o.

Anthopic - Claude 3

В последнее время Anthropic не выпускал новых продуктов, но их Haiku, который можно использовать с точки зрения цены, и высокопроизводительный Opus - это LLM-компании, которые нельзя игнорировать.

Haiku, самая дешевая из трех по цене за входной токен, идеальна для простой обработки текста.

Более того, до появления Gemini Flash Haiku был даже более производительным, чем Gemini 1.0 Pro, поэтому он очень полезен.

Google - Gemini

Google поддерживает две системы ценообразования.

Одна - AI Studio, а другая - Vertex AI.

AI Studio, как и у других компаний, использует ценообразование на основе токенов, а Vertex AI - уникальную систему, основанную на количестве символов.

Если ориентироваться на таблицу выше, то в случае, когда 1 токен равен менее чем 3 символам (1-2 символа), Vertex AI будет дешевле. В случае более 3 символов AI Studio будет дешевле. Но, как правило, в английском языке количество символов, естественно, больше, поэтому AI Studio дешевле. В корейском языке тоже сейчас часто 1 токен соответствует нескольким символам...

В любом случае, если говорить только о входных токенах или производительности, то Gemini 1.5 Flash значительно лучше 1.0 Pro. Для высокопроизводительных задач лучше использовать 1.5 Pro.

Итоги

Если говорить только о производительности, то по MMLU GPT-4o > Opus > 1.5 Pro.

Для сложных интеллектуальных задач используйте GPT-4o. Если вы хотите использовать более дешевую модель или вам нужна модель, которая обрабатывает более 200K токенов (Opus поддерживает только до 200K токенов), то вам подойдет Gemini 1.5 Pro. На практике эти модели могут ощущаться немного по-разному, поэтому используйте ту, которая вам больше подходит.

Если вам нужно выполнить работу с большим количеством текста недорого, у вас есть два варианта:

Если соотношение входных и выходных данных низкое (например, если вам нужно ввести большой объем документов и получить короткий результат), то Claude 3 Haiku является самым дешевым вариантом. С другой стороны, у Haiku высокая стоимость вывода, поэтому в случае, если соотношение входных и выходных данных высокое (например, если вам нужно ввести определенный текст, а затем изменить его), то мы рекомендуем Gemini 1.5 Flash. В этом случае Flash будет самым дешевым вариантом по стоимости вывода.

Резюме и вывод

"Цена не имеет значения, мне нужно выполнить самую сложную работу." -> GPT - 4o

"Но размер входных токенов превышает 128K." (GPT - 4o поддерживает только до 128K) -> Opus

"Мне нужна высокая производительность, но более низкая цена, или размер токена превышает 200K." (Opus поддерживает только до 200K) -> Gemini 1.5 Pro

Мне нужна самая дешевая LLM. -> Haiku

Но в соотношении входных и выходных данных выходные данные немного больше, или размер токена превышает 200K. -> Gemini 1.5 Flash