Negli ultimi due giorni, Google e OpenAI hanno annunciato una serie di nuovi contenuti relativi all'intelligenza artificiale.

Generalmente, le persone si chiedono due cose principali.

Prestazioni e prezzo. (Ovviamente ci sono molte altre funzionalità, ma questo è qualcosa di cui si occupano i blogger professionisti...)

Open AI - GPT

Come sempre, OpenAI ha reso il nuovo modello 4o più conveniente rispetto al GPT-4T precedente. Le prestazioni sono già state discusse su molti altri blog, quindi tralasciamo questo aspetto e ci concentriamo sul prezzo.

In generale, OpenAI ha ridotto il prezzo ogni volta che ha rilasciato un nuovo prodotto dopo il GPT 3.5 Turbo e il GPT 4 iniziale. Naturalmente, le prestazioni sono state migliorate. Al momento, se si cerca un'opzione economica, è meglio optare per 3.5 Turbo. In tutti gli altri casi, è consigliabile utilizzare 4o.

Anthopic - Claude 3

Anthropic non ha rilasciato nuovi prodotti di recente, ma non possiamo escludere questa azienda di LLM grazie a Haiku, un'opzione economica, e Opus, un modello ad alte prestazioni.

Haiku è il più conveniente dei tre in termini di prezzo per token di input. È l'opzione più economica per elaborare testi semplici.

Fino al recente lancio di Gemini Flash, Haiku era persino più performante di Gemini 1.0 Pro, il che lo rende un LLM molto utile.

Google - Gemini

Google mantiene due sistemi di prezzi.

Uno è AI Studio, l'altro è Vertex AI.

AI Studio, come le altre aziende, utilizza un prezzo basato sui token, mentre Vertex AI, in modo unico, utilizza un prezzo basato sui caratteri.

Considerando la tabella sopra, se un token corrisponde a meno di 3 caratteri (1-2 caratteri) in media, l'utilizzo di Vertex AI è più conveniente. Se sono 3 caratteri o più, AI Studio è più conveniente. Tuttavia, in genere, l'inglese ha un numero maggiore di caratteri, quindi AI Studio è più conveniente. Anche il coreano oggi utilizza spesso un token per più caratteri.

In ogni caso, sia in termini di token di input che di prestazioni, Gemini 1.5 Flash è molto più performante di 1.0 Pro. Per compiti ad alte prestazioni, 1.5 Pro è il migliore.

Riepilogo

Considerando solo le prestazioni, in base a MMLU, l'ordine è GPT-4o > Opus > 1.5 Pro.

Per attività intellettuali complesse, GPT-4o è il migliore. Se si cerca un'opzione leggermente più conveniente o se si hanno più di 200K token (Opus supporta solo 200K token), Gemini 1.5 Pro potrebbe essere una buona opzione. In realtà, queste differenze sono percepibili quando si utilizzano realmente questi modelli, quindi è meglio utilizzare quello che meglio si adatta alle proprie esigenze.

Ci sono due opzioni se si ha bisogno di elaborare grandi quantità di testo in modo economico:

Se il rapporto input-output è basso (ad esempio, se si inserisce una grande quantità di documenti e si desidera ottenere risultati brevi), Claude 3 Haiku è l'opzione più economica. Tuttavia, Haiku ha costi di output elevati, quindi, al contrario, se il rapporto è alto (ad esempio, se si inserisce un testo specifico e si desidera che venga modificato o modificato), si consiglia Gemini 1.5 Flash. In questo caso, Flash è l'opzione più economica per i costi di output.

Riepilogo e conclusioni

"Non mi interessa il prezzo, voglio il miglior LLM per attività complesse" -> GPT - 4o

"Ma la dimensione del token di input supera i 128K." (GPT - 4o supporta solo 128K o meno) -> Opus

"Ho bisogno di prestazioni elevate, ma un prezzo più conveniente o una dimensione di token superiore a 200K." (Opus supporta solo 200K o meno) -> Gemini 1.5 Pro

Ho bisogno del LLM più economico. -> Haiku

Ma il rapporto input/output è maggiore per l'output o supera i 200K token. -> Gemini 1.5 Flash