Esta é uma postagem traduzida por IA.
Selecionar idioma
Texto resumido pela IA durumis
- O Google lançou novos modelos experimentais, incluindo Gemini 1.5 Pro Exp, Gemini 1.5 Flash Exp e Gemini 1.5 Flash 8B Exp. Em particular, o Gemini 1.5 Pro Exp oferece desempenho aprimorado em comparação com a versão anterior, enquanto o Gemini 1.5 Flash Exp representa uma atualização para a versão de entrada com desempenho excepcional.
- O Gemini 1.5 Flash 8B Exp oferece desempenho semelhante ao Claude 3 Sonnet e é uma versão leve da linha Flash. Embora ele possa apresentar algumas deficiências na tradução de texto com estruturas JSON complexas em comparação com a linha Pro, ele fornece resultados satisfatórios em tarefas de resumo e escrita.
- Espera-se que o Google ofereça o Gemini 1.5 Flash 8B Exp a um preço acessível ao lançamento, o que deve impactar significativamente outras linhas de modelos. Após o lançamento, uma análise comparativa dos preços será compartilhada.
O Google lançou recentemente novos modelos do Gemini.
Na verdade, não é uma versão oficial, mas uma versão experimental.
Esses modelos são os seguintes:
- Gemini 1.5 Pro Exp
- Gemini 1.5 Flash Exp
- Gemini 1.5 Flash 8B Exp
Primeiro, o 1.5 Pro Exp e o 1.5 Flash Exp podem ser considerados atualizações das versões anteriores. Ao testá-los na prática, o 1.5 Pro Exp apresentou um desempenho ligeiramente melhor em comparação com o 1.5 Pro anterior (o desempenho do benchmark também foi aprimorado. Embora eu não tenha os dados, considero essa versão como a melhor entre as versões lançadas anteriormente). O 1.5 Flash Exp também não é o melhor, mas é o melhor da categoria de entrada, com desempenho aprimorado.
Dizem que essas duas versões serão incorporadas às versões 1.5 Pro e 1.5 Flash existentes nas próximas semanas. (Como a versão anterior era 001, provavelmente será atualizada para a versão 002).
Fonte: Chatbot Arena
Observando a tabela, podemos ver que a versão Gemini 1.5 Pro Exp está em segundo lugar, enquanto a Gemini 1.5 Flash Exp está em sexto lugar.
O que é interessante é que o 1.5 Flash Exp está em uma posição superior ao 1.5 Pro que está em 10º e 11º lugar.
Os cinco primeiros lugares são ocupados pelas versões de ponta de cada empresa (GPT 4o, Gemini 1.5 Pro, Grok 2), enquanto os 6º e 7º lugares são ocupados pelas linhas de entrada de cada empresa (GPT 4o mini, Gemini 1.5 Flash). Por algum tempo, o Claude 3.5 Sonnet foi o melhor... A velocidade de desenvolvimento nesse setor é realmente incrível...
De qualquer forma, pessoalmente, acho que essas duas versões (1.5 Pro e 1.5 Flash) logo se tornarão versões oficiais. O que me deixa curioso no momento é a versão 1.5 Flash 8b.
Primeiro, vamos dar uma olhada no benchmark.
Fonte: Chatbot Arena
Observando o benchmark acima, podemos ver que o desempenho do 1.5 Flash 8b Exp está mais ou menos no mesmo nível do Claude 3 Sonnet anterior e, embora seja ligeiramente inferior ao 1.5 Flash anterior, está no mesmo nível do Llama 3 70b.
O Flash é uma versão simplificada do Pro, e o Flash 8b é uma versão ainda mais simplificada (acho que sim?).
Primeiro, fiz alguns testes diretamente, usando testes de frases usados frequentemente em nosso serviço.
- Traduzir.
- Resumir.
- Escrever.
Existem muitos outros testes em outros lugares, então eu apenas testei alguns. Ao traduzir um texto com uma estrutura JSON complexa, o Flash não produziu resultados satisfatórios, mas o Pro definitivamente produziu resultados satisfatórios. Além disso, a versão Pro Exp gerou resultados mais limpos.
Tanto o Flash quanto o Flash 8b produziram resultados satisfatórios em resumos e escrita. No entanto, se não for uma tarefa muito complexa, podemos ver que tarefas simples podem ser realizadas usando o Flash 8b.
Considerando o desempenho e os parâmetros, o Google provavelmente definirá um preço muito baixo para o Flash 8b em seu lançamento oficial.
Provavelmente será um preço que cause um grande impacto nas linhas de produtos de outras empresas. Quando for lançado, voltarei com o "novo" preço.
