Cena modeli Gemini 1.5 Flash, GPT-4o i innych LLM

W ciągu ostatnich dwóch dni Google i OpenAI ogłosiły mnóstwo nowych informacji związanych ze sztuczną inteligencją.

Zazwyczaj, osoby zainteresowane używaniem AI, zastanawiają się głównie nad dwoma aspektami.

Wydajność i cena. (Oczywiście jest wiele innych funkcji, ale te zostaną omówione przez specjalistycznych blogerów...)

Open AI - GPT

OpenAI, jak to ma w zwyczaju, wprowadziło nową wersję GPT-4o, która jest tańsza od poprzedniej GPT-4. Wydajność jest szeroko omawiana w wielu innych blogach, więc pominiemy ten temat i skupimy się na cenie.

Zasadniczo, Open AI od czasu GPT 3.5 Turbo, po premierze GPT 4, przy każdej nowej wersji obniżało cenę. Oczywiście wraz ze wzrostem wydajności. Obecnie, jeśli priorytetem jest niska cena, należy wybrać 3.5 Turbo. W pozostałych przypadkach, lepiej użyć 4o.

Anthropic - Claude 3

Anthropic ostatnio nie ogłosił nowych produktów, ale ze względu na korzystny stosunek jakości do ceny modeli Haiku i Opus, nie można pominąć tej firmy LLM.

Biorąc pod uwagę cenę tokenów wejściowych, Haiku jest najtańszym z trzech modeli i idealnie nadaje się do prostych zadań przetwarzania tekstu.

Co więcej, przed pojawieniem się Gemini Flash, Haiku był nawet wydajniejszy niż Gemini 1.0 Pro, co czyniło go bardzo użytecznym LLM.

Google - Gemini

Google utrzymuje dwa systemy cenowe.

Jeden to AI Studio, a drugi Vertex AI.

AI Studio, podobnie jak inne firmy, stosuje cenę opartą na tokenach, natomiast Vertex AI ma nietypowy system cenowy oparty na liczbie znaków.

Na podstawie powyższej tabeli, jeśli 1 token zawiera średnio mniej niż 3 znaki (1-2 znaki), korzystanie z Vertex AI jest tańsze, a jeśli 3 znaki lub więcej, AI Studio jest tańsze. Jednak w przypadku języka angielskiego, liczba znaków jest zazwyczaj większa, więc AI Studio jest tańsze. W języku polskim również coraz częściej 1 token zawiera wiele znaków, więc...

Ogólnie rzecz biorąc, biorąc pod uwagę tokeny wejściowe i wydajność, Gemini 1.5 Flash jest znacznie lepszy od 1.0 Pro. W przypadku złożonych zadań, 1.5 Pro jest lepszym wyborem.

Podsumowanie

Biorąc pod uwagę tylko wydajność, mierzoną na podstawie MMLU, kolejność wygląda następująco: GPT-4o > Opus > 1.5 Pro.

W przypadku zadań wymagających zaawansowanych zdolności intelektualnych, najlepszym wyborem jest GPT-4o. Jeśli potrzebujesz nieco tańszego rozwiązania, Gemini 1.5 Pro również może być dobrym wyborem. W praktyce, różnica w użytkowaniu może być subtelna, więc warto wybrać model najlepiej dopasowany do indywidualnych potrzeb.

Jeśli potrzebujesz taniego rozwiązania do przetwarzania dużych ilości tekstu, masz dwie opcje:

W przypadku, gdystosunek danych wejściowych do wyjściowych jest niski (np. gdy wprowadzasz dużą ilość dokumentów i oczekujesz krótkiego wyniku), Claude 3 Haiku jest najtańszy. Należy jednak pamiętać, że Haiku ma wyższą cenę za dane wyjściowe, więc odwrotnie, w przypadku, gdystosunek danych wejściowych do wyjściowych jest wysoki (np. gdy wprowadzasz konkretny tekst i prosisz o jego edycję lub modyfikację), polecamy Gemini 1.5 Flash. W takim przypadku Flash ma najniższą cenę za dane wyjściowe.

Podsumowanie i wnioski

"Nie obchodzi mnie cena, chcę najlepszego modelu do najbardziej złożonych zadań." -> GPT - 4o

"Ale potrzebuję modelu obsługującego dane wejściowe o rozmiarze większym niż 128K." (GPT - 4o obsługuje tylko do 128K) -> Opus

"Potrzebuję modelu o wysokiej wydajności, ale tańszego lub obsługującego dane wejściowe o rozmiarze większym niż 200K." (Opus obsługuje tylko do 200K) -> Gemini 1.5 Pro

Potrzebuję najtańszego modelu LLM. -> Haiku

Ale stosunek danych wejściowych do wyjściowych jest bardziej korzystny dla danych wyjściowych lub przekracza 200K tokenów. -> Gemini 1.5 Flash