Preço do Gemini 1.5 Flash, GPT-4o e outros LLMs

Neste período, em dois dias consecutivos, o Google e o OpenAI fizeram inúmeros anúncios relacionados a novas IAs.

Em geral, as pessoas curiosas sobre o uso têm duas grandes dúvidas.

Desempenho e preço. (Claro que existem mais recursos, mas os blogueiros especializados farão as revisões...)

Open AI - GPT

Como sempre, o OpenAI tornou o novo GPT-4o mais barato do que o GPT-4 anterior. O desempenho é amplamente revisado em muitos outros blogs, então vamos ignorá-lo e falar apenas sobre o preço aqui.

Basicamente, o OpenAI reduziu o preço várias vezes sempre que lançava um novo produto após o GPT-3.5 Turbo e o GPT-4 inicial. Claro, o desempenho é atualizado. No momento, se você precisar escolher o custo mais baixo, o 3.5 Turbo é a melhor opção. Para outros casos, o 4o parece ser a melhor escolha.

Anthopic - Claude 3

Embora a Anthropic não tenha lançado novos produtos recentemente, ela é uma empresa de LLM que não pode ser ignorada devido ao Haiku, que pode ser usado de forma econômica, e ao Opus, de alto desempenho.

Com base no preço do token de entrada, o Haiku, o mais barato dos três, é o mais econômico para lidar com textos simples.

Na verdade, até o lançamento do Gemini Flash, o Haiku tinha um desempenho melhor que o Gemini 1.0 Pro, tornando-o um LLM muito útil.

Google - Gemini

O Google mantém dois sistemas de preços.

Um é o AI Studio e o outro é o Vertex AI.

O AI Studio é baseado em tokens, como outras empresas, enquanto o Vertex AI é exclusivamente baseado em caracteres.

Com base na tabela acima, se 1 token tiver menos de 3 caracteres (1 a 2 caracteres), o Vertex AI será mais barato, e se tiver 3 ou mais caracteres, o AI Studio será mais barato. No entanto, os textos em inglês geralmente têm mais caracteres, então o AI Studio é mais barato. O coreano também tem muitos casos em que 1 token corresponde a vários caracteres atualmente...

De qualquer forma, considerando apenas os tokens de entrada e o desempenho, o Gemini 1.5 Flash é muito melhor que o 1.0 Pro. Para trabalhos de alto desempenho, o 1.5 Pro é melhor.

Geral

Com base apenas no desempenho, com base no MMLU, parece que GPT-4o > Opus > 1.5 Pro.

Para trabalhos intelectuais complexos, use o GPT-4o. Se você quiser usar algo um pouco mais barato ou se precisar de um desempenho semelhante, o Gemini 1.5 Pro também é uma boa escolha. Na prática, a sensação é um pouco diferente, por isso é melhor usar o que melhor se adapta a você.

Se você precisar processar uma grande quantidade de texto de forma econômica, existem duas opções:

Se a proporção de entrada para saída for baixa (por exemplo, se você precisar inserir uma grande quantidade de documentos e obter uma saída curta), o Claude 3 Haiku é o mais barato. No entanto, o Haiku tem um custo de saída alto, então, inversamente, se a proporção de saída for alta (por exemplo, se você inserir um texto específico e solicitar modificações ou alterações), eu recomendo o Gemini 1.5 Flash. Nesse caso, o Flash tem o custo de saída mais baixo.

Resumo e Conclusão

"Não me importo com o preço, quero apenas a melhor tarefa complexa." -> GPT - 4o

"Mas, o tamanho do token de entrada é superior a 128K." (GPT - 4o suporta apenas até 128K) -> Opus

"Eu preciso de alto desempenho, mas quero um preço mais baixo ou o tamanho do token é superior a 200K." (Opus suporta apenas até 200K) -> Gemini 1.5 Pro

Eu preciso do LLM mais barato. -> Haiku

Mas, a proporção de entrada/saída tem uma saída um pouco maior ou o tamanho do token excede 200K. -> Gemini 1.5 Flash