Las últimas noticias sobre el lanzamiento de grandes modelos de lenguaje

En la última semana, las principales empresas de tecnología como Apple, Microsoft y Meta han lanzado nuevos modelos de lenguaje de gran tamaño, lo que ha causado un gran revuelo en la industria de la IA. Exploremos con más detalle las características y la importancia de estos modelos recién lanzados.

OpenELM de Apple

El 25 de abril, Apple lanzó su propia línea de modelos de lenguaje OpenELM. Está compuesta por cuatro modelos de diferentes tamaños: 0.27B, 0.45B, 1.08B y 3.04B. Incluso el modelo más grande solo tiene 3 mil millones de parámetros, lo que lo convierte en un modelo relativamente pequeño. Teniendo en cuenta que la mayoría de los grandes modelos de lenguaje actuales tienen al menos 3 mil millones de parámetros, OpenELM es de un tamaño muy pequeño.
Esto se debe a que Apple diseñó OpenELM pensando en su uso en dispositivos pequeños. En el pasado, aumentar el número de parámetros era la principal forma de lograr un alto rendimiento. Sin embargo, la tendencia actual se centra en la miniaturización y la reducción de peso. Apple ha aumentado la apertura de su trabajo al publicar el conjunto completo, incluyendo los pesos del modelo y el código de inferencia, así como el conjunto de datos y el marco de trabajo.

Serie Phi-3 de MS

Microsoft también publicó primero el modelo Phi-3 Mini (3.8B parámetros) el 23 de abril, y planea lanzar Phi-3 Small (7B parámetros) y Phi-3 Medium (14B parámetros) en el futuro. Phi-3 Mini es un modelo abierto, y cualquiera puede utilizarlo comercialmente de forma gratuita. Todos los nuevos modelos de la serie Phi-3 se ofrecerán a través del servicio en la nube de MS, Azure.

Llama 3 de Meta

Meta (antes Facebook) publicó primero las versiones 8B y 70B del modelo Llama 3 el 18 de abril, y planea publicar el modelo de mayor tamaño, 400B, en verano. El modelo 8B ha recibido elogios de la comunidad de desarrolladores por su excelente rendimiento a pesar de su pequeño tamaño.
Esto se debe a que Meta ha invertido una gran cantidad de datos de entrenamiento para construir una estructura de modelo eficiente. Se puede considerar que es el resultado de centrarse en la optimización de los datos y los algoritmos en lugar de aumentar el número de parámetros.

Grok 1.5 de xAI

El modelo Grok 1.5 de xAI, presentado el 38 de marzo, puede manejar tokens de contexto largos de hasta 128K, lo que permite indicaciones complejas y largas. Si la tendencia en el desarrollo de modelos de lenguaje hasta ahora se ha centrado en aumentar simplemente el tamaño de los parámetros, Grok 1.5 presenta un nuevo objetivo: mejorar la comprensión del contexto largo.

⁠⁠⁠⁠⁠⁠⁠
El lanzamiento continuo de nuevos grandes modelos de lenguaje por parte de empresas líderes como Apple, MS y Meta en la última semana está dando lugar a una mayor diversificación de las direcciones de la evolución de la tecnología de la IA. Estamos viendo nuevos intentos en varios aspectos, como la reducción y la optimización del tamaño del modelo, la optimización de los datos y los algoritmos, y la mejora de la comprensión del contexto. Es interesante ver cómo evolucionará el ecosistema de la IA en el futuro.