Nova linha Gemini do Google - Experimental

O Google lançou recentemente novos modelos do Gemini.

Na verdade, não são versões oficiais, mas sim versões experimentais (Experimental).

Esses modelos são os seguintes:

• Gemini 1.5 Pro Exp
• Gemini 1.5 Flash Exp
• Gemini 1.5 Flash 8B Exp

Em primeiro lugar, as versões 1.5 Pro Exp e 1.5 Flash Exp podem ser consideradas atualizações das versões anteriores. Ao testá-las, notamos que a versão 1.5 Pro Exp apresentou um desempenho ligeiramente superior em comparação com a 1.5 Pro original (o desempenho em benchmarks também foi aprimorado. Embora não tenhamos os dados, podemos dizer que está entre as melhores versões lançadas até o momento). A versão 1.5 Flash Exp, embora não seja a melhor, também teve uma melhoria significativa em comparação com a versão de entrada anterior.

Essas duas versões serão integradas às versões 1.5 Pro e 1.5 Flash existentes em algumas semanas. (A versão anterior era 001, então provavelmente será atualizada para a versão 002).

Observando a tabela, vemos que a versão Gemini 1.5 Pro Exp ocupa a 2ª posição, enquanto a Gemini 1.5 Flash Exp está na 6ª posição.

O interessante é que a Gemini 1.5 Flash Exp está em uma posição superior à da Gemini 1.5 Pro, que ocupa as posições 10 e 11.

As primeiras 5 posições são ocupadas pelas versões principais de cada empresa (GPT 4o, Gemini 1.5 Pro, Grok 2), enquanto as posições 6 e 7 são ocupadas pelas linhas de entrada de cada empresa (GPT 4o mini, Gemini 1.5 Flash). Por um tempo, a Claude 3.5 Sonnet esteve no topo... A velocidade de desenvolvimento nesse setor é realmente impressionante...

De qualquer forma, pessoalmente, acredito que essas duas versões (1.5 Pro e 1.5 Flash) se tornarão versões oficiais em breve, e meu principal interesse no momento é na versão 1.5 Flash 8b.

Vamos analisar o benchmark antes de prosseguir.

Observando o benchmark acima, vemos que o desempenho da versão 1.5 Flash 8b Exp é aproximadamente o mesmo da Claude 3 Sonnet, ficando ligeiramente acima ou abaixo dela. Também podemos notar que seu desempenho é semelhante ao do Llama 3 70b, embora seja um pouco inferior ao da versão 1.5 Flash original.

A versão Flash é uma versão leve da Pro, e a Flash 8b é ainda mais leve (provavelmente, certo?).

Fiz alguns testes práticos, incluindo os testes de frases que usamos com frequência em nossos serviços.

• Traduzir.
• Resumir.
• Escrever textos.

Existem muitos outros testes em outros lugares, então realizei alguns testes simples. Ao traduzir um texto com uma estrutura JSON complexa, a versão Flash não gerou resultados satisfatórios, mas a linha Pro produziu resultados satisfatórios. Além disso, a versão Pro Exp gerou resultados ainda mais limpos.

Tanto a versão Flash quanto a Flash 8b geraram resultados satisfatórios em tarefas de resumo e escrita de texto. Isso mostra que, para tarefas simples que não exigem alto nível de complexidade, a Flash 8b pode ser utilizada.

Considerando o desempenho e os parâmetros, acredito que o Google definirá um preço bastante competitivo para a versão Flash 8b em seu lançamento oficial.

Provavelmente, o preço será tão competitivo que causará grande impacto nas linhas de produtos de outras empresas. Quando for lançado, retornaremos com uma nova análise de preços.