W ciągu ostatnich dwóch dni Google i OpenAI ogłosiły mnóstwo nowych informacji związanych ze sztuczną inteligencją.

Ogólnie rzecz biorąc, ludzie zastanawiają się głównie nad dwiema kwestiami.

Wydajność i cena. (Oczywiście są też inne funkcje, ale o tym piszą profesjonalni blogerzy...)

Open AI - GPT

Jak zwykle w przypadku OpenAI, nowy GPT-4o jest tańszy od GPT-4T. Wydajność można znaleźć w wielu recenzjach na innych blogach, więc pomijamy ten temat, skupiając się tutaj na cenie.

Zasadniczo OpenAI obniżało cenę za każdym razem, gdy wypuszczano nową wersję po GPT 3.5 Turbo i początkowym wydaniu GPT 4. Oczywiście wydajność została ulepszona. W tej chwili, jeśli priorytetem jest niska cena, najlepszym wyborem jest 3.5 Turbo. W pozostałych przypadkach warto używać 4o.

Anthropic - Claude 3

Chociaż Anthropic nie wypuściło ostatnio żadnych nowych produktów, nie można pominąć tej firmy LLM ze względu na Haiku, które jest modelem o dobrym stosunku ceny do jakości, oraz Opus, który jest modelem o wysokiej wydajności.

Haiku jest najtańszym modelem spośród trzech pod względem ceny za token wejściowy, co czyni go najtańszym rozwiązaniem do prostych zadań związanych z przetwarzaniem tekstu.

Co więcej, jeszcze przed pojawieniem się Gemini Flash, Haiku był bardziej wydajny niż Gemini 1.0 Pro, co czyni go bardzo użytecznym LLM.

Google - Gemini

Google utrzymuje dwa systemy cenowe.

Jeden to AI Studio, a drugi Vertex AI.

AI Studio, podobnie jak w przypadku innych firm, opiera się na cenach tokenów, podczas gdy Vertex AI w niezwykły sposób opiera się na cenach znaków.

Jeśli spojrzeć na powyższą tabelę, w przypadku gdy 1 token zawiera mniej niż 3 znaki (1-2 znaki), korzystanie z Vertex AI jest tańsze, a w przypadku 3 lub więcej znaków, AI Studio jest tańsze. Jednak zwykle w języku angielskim liczba znaków jest oczywiście większa, więc AI Studio jest tańsze. W języku koreańskim również coraz częściej 1 token zawiera wiele znaków, więc...

Tak czy inaczej, biorąc pod uwagę zarówno tokeny wejściowe, jak i wydajność, Gemini 1.5 Flash jest znacznie lepszy od 1.0 Pro. W przypadku bardziej wymagających zadań 1.5 Pro jest lepszy.

Podsumowanie

Biorąc pod uwagę tylko wydajność, według wskaźnika MMLU, GPT-4o > Opus > 1.5 Pro.

W przypadku bardziej złożonych zadań intelektualnych, GPT-4o. Jeśli chcesz użyć czegoś tańszego lub potrzebujesz więcej niż 200 000 tokenów, Gemini 1.5 Pro może być dobrym rozwiązaniem. W rzeczywistości różnice w użytkowaniu są odczuwalne, więc każdy powinien wybrać to, co mu najlepiej odpowiada.

Jeśli potrzebujesz taniego sposobu na przetworzenie dużych ilości tekstu, masz dwie możliwości:

W przypadku niskiegostosunku wejścia do wyjścia (np. w przypadku wprowadzenia dużej ilości dokumentów i konieczności wygenerowania krótkich wyników) najtańszym rozwiązaniem jest Claude 3 Haiku. Z drugiej strony, Haiku ma wysoką cenę za token wyjściowy, więc odwrotnie, w przypadku wysokiegostosunku wejścia do wyjścia (np. w przypadku wprowadzenia konkretnego tekstu i konieczności jego modyfikacji lub zmiany) zalecamy Gemini 1.5 Flash. W takim przypadku najtańsze jest Flash.

Podsumowanie i wnioski

"Nie obchodzi mnie cena, chcę wykonać najtrudniejsze zadanie" -> GPT - 4o

"Ale rozmiar tokenów wejściowych przekracza 128 000." (GPT-4o obsługuje tylko do 128 000 tokenów) -> Opus

"Potrzebuję wysokiej wydajności, ale chcę, aby było to tańsze, albo potrzebuję więcej niż 200 000 tokenów." (Opus obsługuje tylko do 200 000 tokenów) -> Gemini 1.5 Pro

Potrzebuję najtańszego LLM. -> Haiku

Ale stosunek wejścia/wyjścia jest bardziej korzystny dla wyjścia, lub przekracza 200 000 tokenów. -> Gemini 1.5 Flash