Nowa linia Gemini od Google – Wersja eksperymentalna

Google niedawno wydało nowe modele Gemini.

Właściwie nie są to pełne wersje, a wersje eksperymentalne (Experimental).

Oto te modele:

• Gemini 1.5 Pro Exp
• Gemini 1.5 Flash Exp
• Gemini 1.5 Flash 8B Exp

Na początek, wersje 1.5 Pro Exp i 1.5 Flash Exp można uznać za aktualizacje poprzednich wersji. W praktyce, po przetestowaniu, okazuje się, że 1.5 Pro Exp oferuje nieco lepszą wydajność w porównaniu do poprzedniego 1.5 Pro (wyniki benchmarków również uległy poprawie. Nie posiadam danych, ale można stwierdzić, że jest to najlepsza wersja spośród dotychczas wydanych). W przypadku 1.5 Flash Exp, choć nie jest to najlepsza wersja, to jednak stanowi znaczną poprawę w stosunku do poprzednich wersji podstawowych.

Mówi się, że obie wersje zostaną włączone do poprzednich wersji 1.5 Pro i 1.5 Flash w ciągu kilku tygodni. (Skoro poprzednio była wersja 001, to prawdopodobnie aktualizacja będzie do wersji 002).

Sprawdzając tabelę, widzimy, że wersja Gemini 1.5 Pro Exp zajmuje 2. miejsce, a Gemini 1.5 Flash Exp znajduje się na 6. miejscu.

Ciekawe jest to, że 1.5 Flash Exp znajduje się wyżej niż Gemini 1.5 Pro, które zajmuje 10. i 11. miejsce.

Na pozycjach od 1 do 5 znajdują się flagowe wersje różnych firm (GPT 4o, Gemini 1.5 Pro, Grok 2), a na 6 i 7 miejscu są wersje podstawowe (GPT 4o mini, Gemini 1.5 Flash). Przez jakiś czas Claude 3.5 Sonnet był na szczycie… ale tempo rozwoju w tej branży jest naprawdę….

Tak czy inaczej, osobiście uważam, że obie wersje (1.5 Pro i 1.5 Flash) wkrótce staną się pełnoprawnymi wersjami, a obecnie jestem ciekaw wersji 1.5 Flash 8b.

Zanim zaczniemy rozmawiać, spójrzmy na wyniki benchmarków.

Patrząc na powyższe wyniki benchmarków, można stwierdzić, że wydajność 1.5 Flash 8b Exp jest mniej więcej taka sama jak Claude 3 Sonnet, a w stosunku do 1.5 Flash jest nieco niższa, ale porównywalna z Llama 3 70 b.

Flash to wersja uproszczona Pro, a Flash 8b jest jeszcze bardziej uproszczona (przynajmniej tak mi się wydaje).

Na początek przeprowadziłem kilka testów, w tym testy zdań, które często używamy w naszej usłudze durumis.

• Tłumaczenie.
• Podsumowywanie.
• Tworzenie tekstów.

Istnieje wiele innych testów w innych miejscach, więc przeprowadziłem tylko kilka z nich. W przypadku tłumaczenia tekstu o złożonej strukturze JSON, Flash nie dawał zadowalających rezultatów, ale linia Pro z pewnością spełniała oczekiwania. Co więcej, wersja Pro Exp generowała jeszcze czystsze wyniki.

Zarówno Flash, jak i Flash 8b dawały zadowalające wyniki w przypadku podsumowywania i tworzenia tekstów. Oznacza to, że w przypadku prostych zadań, Flash 8b może być użyteczny, o ile nie są to bardzo skomplikowane operacje.

Biorąc pod uwagę wydajność i parametry, Google prawdopodobnie ustali bardzo niską cenę dla Flash 8b przy jego oficjalnej premierze.

Podejrzewam, że cena będzie na tyle atrakcyjna, że zada poważny cios konkurencji. Po premierze, ponownie wrócę z nowym cennikiem.