Gemini 1.5 Flash, GPT-4o és egyéb LLM-ek ára

Az elmúlt két napban a Google és az OpenAI is rengeteg új, mesterséges intelligenciával kapcsolatos bejelentést tett.

Általánosságban elmondható, hogy a felhasználók számára két fő kérdés merül fel.

A teljesítmény és az ár. (Természetesen számos egyéb funkció is létezik, de ezekről a szakértő bloggerek fognak beszámolni...)

Open AI - GPT

Az OpenAI, szokásához híven, az új GPT-4o modell olcsóbb lett, mint az elődje, a GPT-4T. A teljesítményről rengeteg blogbejegyzés olvasható, így most csak az árakról lesz szó.

Alapvetően az OpenAI a GPT-3.5 Turbo után először a GPT-4-et dobta piacra, majd minden új modell megjelenésekor csökkentette az árat. Természetesen a teljesítmény is javult. Jelenleg, ha a lehető legalacsonyabb költséggel szeretnénk dolgozni, akkor a 3.5 Turbo a legjobb választás. Minden más esetben a 4o-t érdemes használni.

Anthopic - Claude 3

Az Anthropic nemrég nem jelentett be új termékeket, de a Haiku, mint költséghatékony megoldás, és az Opus, mint nagy teljesítményű modell miatt nem hagyható figyelmen kívül ez a cég.

A bemeneti tokenek árát tekintve a három cég közül a Haiku a legolcsóbb, és egyszerű szövegek feldolgozására a legjobb választás.

Sőt, a Gemini Flash megjelenése előtt a Haiku még a Gemini 1.0 Pro-nál is jobb teljesítményt nyújtott, így rendkívül hasznos LLM-nek bizonyult.

Google - Gemini

A Google két árképzési rendszert alkalmaz.

Az egyik az AI Studio, a másik a Vertex AI.

Az AI Studio, más cégekhez hasonlóan, token alapú árképzést alkalmaz, míg a Vertex AI egyedülálló módon karakter alapú árképzést használ.

A fenti táblázat alapján, ha egy token átlagosan 3 karakternél kevesebbet (1-2 karaktert) tartalmaz, akkor a Vertex AI használata olcsóbb, 3 karakter felett pedig az AI Studio. De mivel az angol szövegeknél általában több karakter van, az AI Studio a kedvezőbb. A mai magyar nyelvben is gyakran több karakter egy token, így...

Szóval, ha csak a bemeneti tokeneket és a teljesítményt nézzük, a Gemini 1.5 Flash sokkal jobb, mint az 1.0 Pro. Nagy teljesítményű feladatokhoz az 1.5 Pro a jobb választás.

Összegzés

Csak a teljesítményt tekintve, az MMLU alapján a GPT-4o > Opus > 1.5 Pro sorrendben állnak.

Ha nagyon összetett, magas szintű intellektuális feladatra van szükségünk, akkor a GPT-4o a legjobb választás. Ha valamivel olcsóbb megoldást szeretnénk, akkor a Gemini 1.5 Pro is jó lehet. A valóságban a használat közben érzékelt különbség picit eltérő lehet, így mindenki a saját igényeinek megfelelő modellt választhatja.

Ha olcsón, nagy mennyiségű szöveges feladatot kell elvégezni, akkor két lehetőségünk van:

Ha a bemenet és a kimenet aránya alacsony (például nagy mennyiségű dokumentumot kell bevinni és rövid eredményt kapni), akkor a Claude 3 Haiku a legolcsóbb. Viszont a Haiku kimenetének ára magas, ezért ha a kimenet aránya magas (például egy adott szöveget kell bevinni, majd módosítani, megváltoztatni), akkor a Gemini 1.5 Flash a javasolt. Ilyenkor a kimenet ára a legalacsonyabb a Flash-nél.

Összefoglalás és következtetés

"Nem számít az ár, a legösszetettebb feladatokat kell elvégezni." -> GPT - 4o

"De a bemeneti tokenek mérete meghaladja a 128K-t." (A GPT - 4o csak 128K-ig képes kezelni) -> Opus

"Nagy teljesítményre van szükség, de az ár kedvezőbb, vagy a tokenek mérete meghaladja a 200K-t." (Az Opus csak 200K-ig képes kezelni) -> Gemini 1.5 Pro

A lehető legolcsóbb LLM-re van szükségem. -> Haiku

De a bemenet/kimenet arányban a kimenet nagyobb, vagy meghaladja a 200K tokent. -> Gemini 1.5 Flash