To jest post przetłumaczony przez AI.
Wybierz język
Tekst podsumowany przez sztuczną inteligencję durumis
- Google wypuściło nowe, eksperymentalne modele, w tym Gemini 1.5 Pro Exp, Gemini 1.5 Flash Exp i Gemini 1.5 Flash 8B Exp. W szczególności Gemini 1.5 Pro Exp charakteryzuje się ulepszonymi osiągami w porównaniu do poprzednich wersji, a Gemini 1.5 Flash Exp to ulepszona wersja modelu podstawowego.
- Gemini 1.5 Flash 8B Exp oferuje podobne osiągi do Claude 3 Sonnet i jest zoptymalizowaną wersją linii Flash. Podczas tłumaczenia tekstów o złożonej strukturze JSON model ten wypada nieco gorzej od linii Pro, ale w przypadku podsumowywania i tworzenia treści zapewnia zadowalające wyniki.
- Google planuje wprowadzić Gemini 1.5 Flash 8B Exp w niskiej cenie przy oficjalnym wydaniu, co prawdopodobnie będzie miało znaczący wpływ na konkurencję. Po wprowadzeniu na rynek planujemy ponownie porównać ceny i podzielić się wynikami.
Google niedawno wypuściło nowe modele Gemini.
W rzeczywistości nie są to wersje oficjalne, a wersje testowe (Experimental).
Modele te to:
- Gemini 1.5 Pro Exp
- Gemini 1.5 Flash Exp
- Gemini 1.5 Flash 8B Exp
W przypadku modeli 1.5 Pro Exp i 1.5 Flash Exp można je uznać za aktualizacje poprzednich wersji. W rzeczywistości po przetestowaniu można zauważyć, że wersja 1.5 Pro Exp jest nieco wydajniejsza niż poprzednia wersja 1.5 Pro (wyniki testów porównawczych również uległy poprawie. Nie posiadam danych, ale można uznać ją za najlepszą spośród dotychczas wydanych wersji). W przypadku wersji 1.5 Flash Exp również nie jest ona najlepsza, ale jest znacząco lepsza wśród wersji podstawowych.
Mówi się, że obie wersje zostaną wdrożone w ciągu kilku tygodni do poprzednich wersji 1.5 Pro i 1.5 Flash (ponieważ poprzednia wersja była oznaczona jako 001, prawdopodobnie aktualizacja będzie wersją 002).
Źródło: Chatbot Arena
Sprawdzając tabelę, widzimy, że wersja Gemini 1.5 Pro Exp znajduje się na drugim miejscu, a wersja Gemini 1.5 Flash Exp na szóstym.
Ciekawe jest to, że wersja 1.5 Flash Exp jest wyżej niż wersja 1.5 Pro, która zajmuje 10. i 11. miejsce.
Od 1. do 5. miejsca znajdują się flagowe wersje różnych firm (GPT 4o, Gemini 1.5 Pro, Grok 2), a na 6. i 7. miejscu znajdują się wersje podstawowe (GPT 4o mini, Gemini 1.5 Flash). Przez pewien czas Claude 3.5 Sonnet był na pierwszym miejscu... Tempo rozwoju w tej branży jest naprawdę...
Tak czy inaczej, osobiście uważam, że obie wersje (1.5 Pro, 1.5 Flash) wkrótce staną się oficjalnymi wersjami, a aktualnie jestem ciekawy wersji 1.5 Flash 8b.
Najpierw jednak spójrzmy na wyniki testów porównawczych.
Źródło: Chatbot Arena
Patrząc na powyższe testy porównawcze, możemy stwierdzić, że wydajność wersji 1.5 Flash 8b Exp jest zbliżona do wydajności Claude 3 Sonnet, a wyniki są nieco wyższe lub niższe od wyników wersji 1.5 Flash, ale podobne do wyników Llama 3 70 b.
Flash jest wersją lekką Pro, a Flash 8b jest wersją jeszcze bardziej zoptymalizowaną pod kątem rozmiaru (prawdopodobnie tak jest?).
Po przeprowadzeniu kilku testów samodzielnie, w przypadku naszego serwisu, używamy testów zdań.
- Tłumaczenie.
- Podsumowanie.
- Tworzenie tekstów.
Istnieje wiele innych testów w innych miejscach, więc przeprowadziłem kilka prostych testów. W przypadku tłumaczenia tekstu o złożonej strukturze JSON, wersja Flash nie dała zadowalających rezultatów, ale wersja Pro dała satysfakcjonujące rezultaty. Co więcej, wersja Pro Exp dała bardziej czyste rezultaty.
W przypadku podsumowania i tworzenia tekstów, zarówno wersja Flash, jak i wersja Flash 8b dały satysfakcjonujące rezultaty. Oznacza to, że w przypadku prostych zadań, które nie wymagają zaawansowanych operacji, można korzystać z wersji Flash 8b.
Biorąc pod uwagę wydajność i parametry, Google prawdopodobnie ustali bardzo niską cenę wersji Flash 8b w momencie jej oficjalnego wydania.
Prawdopodobnie cena będzie na tyle niska, że poważnie zaszkodzi konkurencji, a po wydaniu wersji wrócę "znowu" z cennikiem.
