A Google és az OpenAI két nap alatt rengeteg új AI-hoz kapcsolódó bejelentést tett.

Általában a felhasználók számára két fő kérdés merül fel.

A teljesítmény és az ár. (Természetesen sok más funkció is létezik, de azokat a szakértők majd áttekintésük során kiemelik.)

Open AI - GPT

Az OpenAI-ra jellemző módon az új 4o olcsóbb lett, mint az előző GPT-4T. A teljesítményről már rengeteg áttekintést lehet olvasni, ezért itt csak az árat fogjuk vizsgálni.

Az OpenAI a GPT 3.5 Turbo bevezetése után először a GPT 4-et adta ki, és azóta minden új modell esetén csökkentették az árat. Természetesen a teljesítmény is fejlődik. Jelenleg, ha az ár a legfontosabb szempont, akkor a 3.5 Turbo a legjobb választás. Minden más esetben a 4o-t érdemes választani.

Anthopic - Claude 3

Az Anthropic nemrég nem adott ki új terméket, de a Haiku, amely ár-érték arányban kiváló, és az Opus, amely nagy teljesítményű, nem engedik, hogy figyelmen kívül hagyják ezt az LLM-vállalatot.

Ha az input tokenek árát tekintjük, a Haiku a legolcsóbb a három közül, és a legegyszerűbb szövegek feldolgozására a legköltséghatékonyabb megoldás.

Sőt, még a Gemini Flash megjelenése előtt is a Haiku jobb teljesítményt nyújtott, mint a Gemini 1.0 Pro, így rendkívül hasznos LLM.

Google - Gemini

A Google kétféle árképzési modellt alkalmaz.

Az egyik az AI Studio, a másik pedig a Vertex AI.

Az AI Studio, hasonlóan más cégekhez, token alapú árképzéssel működik, míg a Vertex AI egyedülálló módon karakter alapú árképzést alkalmaz.

A fenti táblázat alapján, ha egy token átlagosan kevesebb, mint 3 karaktert tartalmaz (1-2 karakter), akkor a Vertex AI a költséghatékonyabb megoldás, ha azonban 3 vagy több karaktert tartalmaz, akkor az AI Studio a jobb választás. Az angol szövegeknél azonban, ahogyan várható, a karakterek száma általában magasabb, így az AI Studio olcsóbb. A koreai nyelv esetében is egyre gyakoribb, hogy egy token több karaktert foglal magában.

Mindenesetre, ha csak az input tokenek számát és a teljesítményt nézzük, a Gemini 1.5 Flash sokkal jobb, mint az 1.0 Pro. Ha nagy teljesítményű feladatokat kell végrehajtani, akkor a 1.5 Pro a jobb választás.

Összefoglaló

Ha csak a teljesítményt nézzük, MMLU mércével a GPT-4o > Opus > 1.5 Pro a sorrend.

Ha magas szintű intellektuális munka szükséges, akkor a GPT-4o a legjobb választás. Ha egy kicsit olcsóbb megoldást keresünk, vagy a tokenek száma meghaladja a 200K-t (az Opus 200K-nál kevesebb tokent tud kezelni), akkor a Gemini 1.5 Pro is megfelelő választás lehet. A gyakorlati tapasztalatok azonban ennél árnyaltabb képet mutatnak, ezért minden felhasználónak meg kell találnia a saját igényeinek legjobban megfelelő megoldást.

Ha olcsó megoldásra van szükségünk nagy mennyiségű szöveg feldolgozásához, akkor két lehetőségünk van:

Az input és az output aránya alacsony (például, ha nagy mennyiségű dokumentumot kell beolvasni és rövid eredményre van szükség), akkor a Claude 3 Haiku a legolcsóbb megoldás. A Haiku azonban magas output költséggel rendelkezik, míg a fordított esetben, ha az output aránya magas (például, ha egy adott szöveget kell módosítani vagy átírni), akkor a Gemini 1.5 Flash a legjobb választás. Ebben az esetben a Flash az output költségek szempontjából a legolcsóbb megoldás.

Összegzés és következtetés

"Az ár nem számít, csak a lehető legbonyolultabb feladatot kell megoldani." -> GPT - 4o

"De az input tokenek száma meghaladja a 128K-t." (a GPT - 4o csak 128K-nál kevesebb tokent tud kezelni) -> Opus

"Magas teljesítményre van szükség, de az ár valamivel olcsóbb, vagy a tokenek száma meghaladja a 200K-t." (az Opus csak 200K-nál kevesebb tokent tud kezelni) -> Gemini 1.5 Pro

"A lehető legolcsóbb LLM-re van szükségem." -> Haiku

"De az input/output arányban az output valamivel nagyobb, vagy a tokenek száma meghaladja a 200K-t." -> Gemini 1.5 Flash