Precio de Gemini 1.5 Flash, GPT-4o y otros LLM

En los últimos dos días, Google y OpenAI han hecho una gran cantidad de anuncios relacionados con nuevas IA.

En general, hay dos aspectos que interesan a la mayoría de los usuarios.

El rendimiento y el precio. (Por supuesto, hay muchas más funciones, pero eso lo dejaré para que lo revisen los bloggers especializados...)

Open AI - GPT

Como siempre, OpenAI ha reducido el precio de la nueva versión 4o en comparación con el GPT-4 anterior. En cuanto al rendimiento, hay muchas reseñas en otros blogs, así que no me extenderé en ello. Aquí solo hablaré del precio.

Básicamente, OpenAI ha ido reduciendo el precio cada vez que ha lanzado una nueva versión tras el GPT 3.5 Turbo y el GPT 4 inicial. Por supuesto, con mejoras en el rendimiento. Actualmente, si buscas la opción más económica, 3.5 Turbo es la mejor opción. Para el resto de los casos, 4o parece ser la mejor elección.

Anthropic - Claude 3

Aunque Anthropic no ha anunciado ningún producto nuevo recientemente, es una empresa de LLM que no se puede pasar por alto debido a su modelo Haiku, ideal para una relación calidad-precio, y Opus, de alto rendimiento.

En términos del precio por token de entrada, Haiku es el más barato de los tres, siendo la mejor opción para tareas sencillas de procesamiento de texto.

De hecho, hasta el lanzamiento de Gemini Flash, Haiku ofrecía un mejor rendimiento que Gemini 1.0 Pro, lo que lo convertía en un LLM muy útil.

Google - Gemini

Google mantiene dos sistemas de precios.

Uno es AI Studio y el otro es Vertex AI.

AI Studio, al igual que otras empresas, utiliza un sistema de precios basado en tokens, mientras que Vertex AI utiliza un sistema único basado en el número de caracteres.

Según la tabla anterior, si un token tiene menos de 3 caracteres (1 o 2 caracteres), es más barato usar Vertex AI, mientras que si tiene 3 o más caracteres, AI Studio es más económico. Sin embargo, en el caso del inglés, el número de caracteres suele superar este límite, por lo que AI Studio es más económico. En el caso del coreano, cada token suele contener varias letras, por lo que...

En cualquier caso, tanto en términos de tokens de entrada como de rendimiento, Gemini 1.5 Flash es mucho mejor que 1.0 Pro. Y para tareas que requieren un alto rendimiento, 1.5 Pro es superior.

Resumen

En términos de rendimiento, según el estándar MMLU, parece ser que GPT-4o > Opus > 1.5 Pro.

Si necesitas realizar tareas intelectuales complejas, GPT-4o es la mejor opción. Si prefieres una opción un poco más económica, Gemini 1.5 Pro también es una buena alternativa. En la práctica, la experiencia de uso puede variar ligeramente, por lo que cada usuario debe elegir el que mejor se adapte a sus necesidades.

Si necesitas realizar un gran volumen de tareas de procesamiento de texto de forma económica, tienes dos opciones:

Si la relación entrada/salida es baja (por ejemplo, si necesitas introducir una gran cantidad de documentos y obtener un resultado breve), Claude 3 Haiku es la opción más económica. Sin embargo, Haiku tiene un coste de salida elevado, por lo que, por el contrario, si la relación entrada/salida es alta (por ejemplo, si necesitas introducir un texto específico y luego realizar tareas de edición y modificación), te recomiendo Gemini 1.5 Flash. En este caso, Flash tiene el coste de salida más bajo.

Resumen y Conclusión

"No me importa el precio, solo quiero el mejor LLM para tareas complejas." -> GPT - 4o

"Pero necesito un tamaño de token de entrada superior a 128K." (GPT - 4o solo admite hasta 128K) -> Opus

"Necesito un alto rendimiento pero a un precio más bajo, o un tamaño de token de entrada superior a 200K." (Opus solo admite hasta 200K) -> Gemini 1.5 Pro

Necesito el LLM más económico posible. -> Haiku

Pero la relación entrada/salida tiene una salida ligeramente mayor o supera los 200K tokens. -> Gemini 1.5 Flash