Esta vez, Google y OpenAI anunciaron una gran cantidad de nuevos contenidos relacionados con la IA durante dos días consecutivos.

En general, hay dos cosas que la gente quiere saber al usarlas.

Rendimiento y precio. (Por supuesto, hay muchas más funciones, pero eso lo revisan los blogueros profesionales ...)

Open AI - GPT

Como siempre, OpenAI ha hecho que el nuevo 4o sea más barato que el GPT-4T anterior. El rendimiento es algo que se puede encontrar en muchas reseñas en otros blogs, así que lo omitiremos aquí. Aquí solo hablamos del precio.

Básicamente, Open AI redujo el precio cada vez que lanzó un nuevo producto después de que GPT 4 salió por primera vez después de GPT 3.5 Turbo. Por supuesto, el rendimiento está mejorando. Actualmente, si tienes que elegir un precio más barato, deberías usar 3.5 Turbo. Para los demás casos, parece que 4o es el adecuado.

Anthopic - Claude 3

Si bien Anthropic no ha anunciado ningún producto nuevo recientemente, es una empresa de LLM que no se puede ignorar debido a Haiku, que se puede utilizar como una opción rentable, y Opus, que es de alto rendimiento.

En términos de precio por token de entrada, Haiku es el más barato de los tres, y es el más barato para procesar textos simples.

De hecho, hasta la llegada de Gemini Flash, Haiku era incluso más potente que Gemini 1.0 Pro, lo que lo convierte en un LLM muy útil.

Google - Gemini

Google mantiene dos sistemas de precios.

Uno es AI Studio y el otro es Vertex AI.

AI Studio, como otras empresas, está basado en tokens, mientras que Vertex AI, curiosamente, está basado en caracteres.

Si consideramos la tabla anterior, si 1 token tiene menos de 3 caracteres (1-2 caracteres) de media, es más barato usar Vertex AI, pero si tiene 3 caracteres o más, es más barato AI Studio. Sin embargo, el inglés suele tener más caracteres, por lo que AI Studio es más barato. El coreano también suele tener varios caracteres por token...

En cualquier caso, tanto en términos de tokens de entrada como de rendimiento, Gemini 1.5 Flash es mucho mejor que 1.0 Pro. Si necesitas tareas de alto rendimiento, 1.5 Pro es superior.

Resumen

En términos de rendimiento solo, basado en MMLU, parece ser GPT-4o > Opus > 1.5 Pro.

Si necesitas tareas intelectuales de alto nivel, GPT-4o. Si quieres usar algo un poco más barato o si el tamaño del token supera los 200K (Opus solo permite hasta 200K), Gemini 1.5 Pro podría funcionar. En realidad, la sensación al usarlos es un poco diferente, por lo que puedes usar el que mejor se adapte a tus necesidades.

Si necesitas trabajar con grandes cantidades de texto a bajo coste, tienes dos opciones:

Si la proporción de entrada a salida es baja (por ejemplo, si necesitas introducir una gran cantidad de documentos y obtener un resultado corto), Claude 3 Haiku es el más barato. Por otro lado, Haiku tiene un alto coste de salida, por lo que, por el contrario, si la proporción de entrada a salida es alta (por ejemplo, si necesitas introducir un texto específico y luego darle instrucciones para modificarlo o cambiarlo), te recomiendo Gemini 1.5 Flash. En ese caso, Flash es el más barato para la salida.

Resumen y conclusión

"No me importa el precio, quiero el trabajo más complejo posible" -> GPT - 4o

"Pero el tamaño del token de entrada supera los 128K" (GPT - 4o solo permite hasta 128K) -> Opus

"Necesito un alto rendimiento, pero un precio más bajo o un tamaño de token que supere los 200K" (Opus solo permite hasta 200K) -> Gemini 1.5 Pro

Necesito el LLM más barato posible. -> Haiku

Pero la relación de entrada/salida tiene más salida o supera los 200K tokens. -> Gemini 1.5 Flash