Nueva línea Gemini de Google - Experimental

Google lanzó recientemente nuevos modelos de Gemini.

En realidad, no son versiones oficiales, sino versiones experimentales (Experimental).

Los modelos son los siguientes:

• Gemini 1.5 Pro Exp
• Gemini 1.5 Flash Exp
• Gemini 1.5 Flash 8B Exp

En primer lugar, las versiones 1.5 Pro Exp y 1.5 Flash Exp se pueden considerar como actualizaciones de las versiones anteriores. De hecho, al probarlas, se observa que la versión 1.5 Pro Exp ha mejorado ligeramente en comparación con la 1.5 Pro original (el rendimiento de los puntos de referencia también ha mejorado. No tengo los datos, pero se puede considerar que es la mejor de las versiones lanzadas hasta ahora). La versión 1.5 Flash Exp también ha mejorado, aunque obviamente no es la mejor, pero dentro de las versiones de entrada es la mejor hasta la fecha.

Según se informa, estas dos versiones se integrarán en las versiones anteriores 1.5 Pro y 1.5 Flash en un plazo de unas pocas semanas. (Si la versión anterior era la 001, parece que se actualizará a la 002).

Si observamos la tabla, la versión Gemini 1.5 Pro Exp ocupa el segundo lugar, mientras que la Gemini 1.5 Flash Exp ocupa el sexto.

Lo interesante es que la Gemini 1.5 Flash Exp se encuentra en una posición superior a la Gemini 1.5 Pro, que ocupa los puestos 10 y 11.

Los 5 primeros puestos están ocupados por las versiones insignia de cada empresa (GPT 4o, Gemini 1.5 Pro, Grok 2), y los puestos 6 y 7 por las líneas de entrada de cada empresa (GPT 4o mini, Gemini 1.5 Flash). Durante un tiempo, Claude 3.5 Sonnet estuvo en la cima... La velocidad de desarrollo de esta industria es realmente...

En cualquier caso, personalmente creo que estas dos versiones (1.5 Pro y 1.5 Flash) se convertirán en versiones oficiales en poco tiempo. Actualmente, mi curiosidad se centra en la versión 1.5 Flash 8b.

Primero, echemos un vistazo a los puntos de referencia.

Si observamos los puntos de referencia anteriores, el rendimiento de la versión 1.5 Flash 8b Exp es aproximadamente similar al de la Claude 3 Sonnet, y se sitúa por encima y por debajo de la 1.5 Flash, aunque muestra un rendimiento similar al de Llama 3 70 b.

Flash es una versión ligera de Pro, y Flash 8b es una versión aún más ligera (¿no es así?).

Primero, he realizado algunas pruebas directas, pruebas de frases que se utilizan mucho en nuestro servicio.

• Traducir.
• Resumir.
• Escribir textos.

He realizado algunas pruebas sencillas, ya que hay muchas otras pruebas en otros lugares. Al traducir un texto con una estructura JSON compleja, Flash no produjo resultados satisfactorios, pero la línea Pro sí lo hizo. Además, la versión Pro Exp produjo resultados más limpios.

Tanto Flash como Flash 8b mostraron resultados satisfactorios en las tareas de resumen y escritura de textos. Esto demuestra que, si las tareas no son muy complejas, se puede utilizar Flash 8b para tareas sencillas.

Teniendo en cuenta el rendimiento y los parámetros, parece que Google establecerá un precio bastante bajo para Flash 8b en su lanzamiento oficial.

Probablemente, lo establecerá a un precio que cause un gran impacto en las líneas de productos de otras empresas. Cuando se lance, volveré a mostrar la lista de precios "una vez más".